-
作为 ETL 交付经理,您将负责带领团队开发、实现和维护银行财务数据的 ETL 流程。您需要具备扎实的编程基础,熟悉大数据处理框架,有丰富的 ETL 项目经验,具备优秀的团队管理能力和良好的沟通能力。 主要职责: 1. 带领团队进行 ETL 流程的设计、开发、测试和部署,确保项目按时按质完成。 2. 负责分析业务需求,制定技术方案,并对团队成员进行技术指导和培训。 3. 负责与项目经理、业务分析师等跨部门人员沟通协作,确保项目顺利进行。 4. 负责团队内部的技术交流和知识分享,提高团队的技术能力和解决问题的能力。 5. 跟踪项目进度,对项目风险进行识别、评估和控制,确保项目按计划进行。 6. 定期向上级领导汇报团队工作进展和项目情况。 职位要求: 1. 本科及以上学历,计算机相关专业,5 年以上 Java 或 Python 开发经验。 2. 熟悉大数据处理框架,如 Hadoop、Spark、Airflow 等,有实际项目经验者优先。 3. 具备扎实的数据库基础知识,熟悉 SQL 语言,有数据库调优经验者优先。 4. 具备 3 年以上 ETL 项目经验,熟悉 ETL 流程设计、数据清洗、数据转换等技术。 5. 具备良好的团队管理能力,能带领团队完成项目任务,有团队管理经验者优先。 6. 具备良好的沟通能力和协调能力,能与跨部门人员有效沟通协作。 7. 熟悉 GCP 平台,具备 GCP 相关证书者优先。
-
HIVE语言编码技能必须优秀,并且是该职位的必备技能。能够操作表中的数据,编写HIVE HQL代码。 •有编写代码的经验 •向同事和利益相关者清晰表达技术分析含义的能力 Responsibilities: •了解大数据技术。了解Hive, UNIX Shell脚本是必需的 •HIVE语言编码技能必须优秀,并且是该职位的必备技能。能够操作表中的数据,编写HIVE HQL代码。 •需要有敏捷项目的工作经验。 优秀的英语沟通和表达能力 •指导和引导谈话的能力。 了解JIRA, DEVOPS, control M scheduling优先考虑。 •向同事和利益相关者清晰表达技术分析含义的能力 •表现出最高的主人翁和责任标准
-
ETL(厦门,宁波,杭州,上海,线上面试,银行互联网车企)
[天河区] 2022-08-1211k-19k 经验1-3年 / 大专企业服务、数据服务 / 上市公司 / 2000人以上厦门岗位职责: 1、侧重报表前端表单和后端数据库脚本开发; 2、负责对接产品经理需求方案,负责帆软(Finereport)报表PC端、移动端产品的开发、调优、测试和上线; 3、基干报表设计方案的要求,开发实现应用层数据的完善和落地。 岗位职责: 1、熟悉Finereport开发优先,必须获得帆软认证报表工程师FCRP/FCP 认证,专职报表开发半年以上时间 (专职是在一段时间内只做报表工作,不做其他工作); 2、熟悉SQL语句的编写,能根据报表实现需求转换编写各种简单或者复杂的语句,能编写、调试存储过程、触发器等优先; 3、熟悉ORACLE、MYSQL、SQLserver等数据库优先; 4、2-3年以上的报表开发经验,有对帆软产品进行二次开发的能力。 宁波职位 1、学信**本科,3年及以上数据研发经验,大专/民教本,5年以上数据研发经验,熟悉数据仓库或数据集市的架构,有数据建模经验; 2、精通SQL,熟悉Oracle、Impala、Hive; 上海职位 1、2-3年以上工作经验,2年以上报表开发相关工作经验; 2、至少熟悉FINE REPORT \TABLAUE 等一种数据可视化相关技术及工具; 3、熟悉常用数据库Oracle\MySQL\SQL Server 等,精通SQL ; 杭州职位 数据开发,3年以上经验 -
岗位职责: 1、业务数据分析、调研及数据采集; 2、大数据平台的数据清洗、数据转换、数据存储; 3、持续跟踪大数据平台运行情况,监控数据同步链路,处理各类异常和故障; 4、数据治理相关开源项目产品的部署安装、性能调优和监控; 5、参与集团数据标准制定与规范建设; 6、完成集团数据中台及协助与支持各数源方按照相关数据标准与规范完成数据治理各项制度的落地及执行效果评估(包括元数据、主数据、数据标准、数据质量、数据安全、数据资产管理等)。 任职要求: 1、熟悉Oracle、MySQL等相关数据库及相关配套工具,熟悉SQL语言; 2、熟悉java,熟悉Linux操作系统; 3、熟悉Mapreduce、Redis、Kafka、Flink、spark等大数据组件的应用场景和配置规则; 4、了解大数据处理的流计算、分布式文件系统、分布式存储等相关技术; 5、了解容器、虚拟化、微服务框架等相关技术; 6、能接受出差,沟通能力良好,能够独立排查和处理问题。 7、具有ETL相关工具的实施、维护和使用经验或具有阿里云大数据工程师ACP认证证书者优先。
-
岗位职责: 1、负责数据中心数据中台组件、数据共享服务平台的设计、建设等技术工作; 2、承担数据中心数据中台组件、数据共享服务平台等软件产品和数据产品交付物的质量稽核、审核等工作; 3、完成数据共享服务平台的开发、数据中台运营等项目管理工作; 4、完成上级交办的其他工作任务。 任职要求: 1、具备数据仓库基础知识,熟悉数据仓库ETL过程; 2、对数据敏感,善于分析数据、具有良好文档撰写能力,能根据业务需求完成相关项目报告; 3、细心严谨,善于分析,具有良好的业务理解能力和沟通协调能力,以及优秀的执行力; 4、具备以下条件者优先:有大数据和项目管理相关认证;熟悉数据产品和数据服务,具备数据运营工作经验;熟练掌握PPT、WORD、EXCEL等技能;具备java、python等开发经验。 其他要求: 1、工作细致、善于思考,具有较强的责任心和良好的团队合作精神、沟通表达能力和文档编写能力; 2、接受出差值班。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
一、岗位职责: 1、参与云数据平台规划,分析业务问题,数据模型设计; 2、负责核心数据处理程序开发、部署调优、验收,及交付材料编写; 二、任职要求: 1、熟悉Linux/Unix系统和丰富的Java开发经验;熟练使用Spring boot,了解Spring底层结构,具备从事分布式相关系统的开发 2、精通大数据仓储技术栈有(Spark、Hive、HBase、redis、kafka、Hadoop等)相关开发经验 3、精通SQL,熟悉常用主流数据库,包括MySQL、PostgreSQL、Redis、MongoDB、Oracle,并精通其中任意一种,具有SQL性能优化经验 4、掌握主流ETL开发工具(Sqoop、Kettle) 5、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink
-
岗位职责: 1. 梳理公司的数据资产,负责数据采集/加工/分析/呈现全流程的机制规划和产品设计; 2. 参与公司大数据平台产品、数据应用和分析类产品的规划设计并落地数据应用; 3. 跟进产品的研发、测试及上线流程,推动产品完成发布,监控项目交付中问题并及时解决; 4. 规划产品运营目标与策略,持续改善产品及功能。 任职要求: 1. 大学本科学历以上,5年以上工作经验,计算数学、数理统计和计算机相关专业背景者优先; 2. 理解数据仓库理论和数据治理方法,有数据仓库/数据中台/数据湖建设项目和数据产品建设经验,熟悉数据产品整个开发流程,能够从需求确认、产品原型、PRD撰写、产品上线后的跟进等过程进行数据产品的落地实施; 3. 对主流大数据产品、BI产品的现状和发展趋势有深入了解; 4. 掌握SQL等数据分析工具和数据挖掘算法,熟悉ETL/实时计算/用户画像/数据可视化等; 5. 有负责设计过数据分析、数据挖掘、数据可视化、在线数据相关产品者优先; 6. 有较强的沟通协调能力,自驱、主动、有团队合作意识。
-
任职要求: 1、本科,计算机科学、信息管理、数据科学等专业; 2、熟悉数据库管理系统(DBMS)、数据仓库、ETL工具(kettle)等数据管理和数据处理技术; 3、具有一定的数据分析能力,能够使用数据分析工具和编程语言(如SQL、Python、R等)进行数据处理和分析; 4、了解数据治理的基本原则和方法,熟悉数据治理的关键概念和流程; 5、具备良好的沟通和协作能力,问题解决能力; 6、具备持续学习的意愿和能力,能够跟进和适应不断发展的数据治理技术和***实践。 岗位职责: 1、数据采集、清洗和转换; 2、协助数据项目经理,编写数据治理方案; 3、数据分析任务,如基本统计分析、数据关联分析等; 4、使用数据分析工具和编程语言,如SQL、Python或R,编写脚本或查询来提取和处理数据,撰写分析报告; 5、监控和维护数据质量,识别和纠正数据质量问题; 6、收集和维护数据的元数据信息,包括数据来源、定义、格式、用途等。 薪酬福利: 1、薪酬:基本工资、绩效工资、年终奖金、餐费补贴、通讯费补助等; 2、福利:年度季度嘉奖、六险一金、带薪年假、旅游拓展等丰富企业文化活动; 3、假期规定:公司提供按国家标准的有薪假期,法定节假日、年休假、婚假、产假等假期; 4、培训:公司重视员工个人发展,不定期为员工组织内部各项专业技能培训,公费外送培训。 5、员工活动:不定期举行郊游、文娱活动、公司旅游、公司年会等活动; 6、节日慰问:公司在端午节、中秋节、春节等传统重大节日为员工发放节日礼品; 7、办公环境:优雅、干净、整洁的办公环境,轻松、愉快的工作氛围。 8、其他:周末双休,7.5小时/天工作制,食堂、免费班车等。
-
岗位职责: 1、 负责完成公司项目所有后台业务编码; 2、 负责完成公司项目前期需求编写以及数据库搭建; 3、 协同测试完成项目测试、回归测试。 任职要求: 1、 计算机相关专业本科以上学历,有3年或以上核心系统/(数据集成、ETL、BI平台)服务端/开发经验; 2、理解软件系统架构,熟悉面向对象分析设计方法,有较强的逻辑能力,具有OOA、OOD、OOP以及UML建模经验; 3、Java基础扎实,熟悉Java生态和常用框架Springboot、Spring cloud、Mybatis,Python/C++/C#中的其中一种作为第二编程语言者优先; 4、熟悉了解Memcache、Redis、Mongodb、Hadoop、kafka等,具有相关实际项目经验优先; 5、对Oracle、Mysql、PostgreSQL中的其中一种数据库有丰富的使用经验以及高性能优化开发经验者优先;
-
大数据开发工程师
[天河区] 2024-04-1018k-27k 经验3-5年 / 本科IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上This role will carry out some or all of the following activities: • Contributing into the delivery of a data platform related operational enhancements. • Extraction, Transformation and Loading (ETL) of data in the data lake • Responsible for creation of Data Quality dashboards specific to a business area. • Data modelling works • Optimising consumption of data from the data repositories. • Address functional and non-functional requirements relevant to data in large applications. • Experience on Spark ( Scala). Pyspark , Delta Lake , GCP , Ali will be plus -
具体职责包括但不限于: 1、参与基础软件的设计、开发和维护,如分布式文件系统、缓存系统、Key/Value存储系统、数据库、Linux操作系统和Java优化等; 2、参与高性能分布式服务端程序的系统设计,为阿里巴巴的产品提供强有力的后台支持,在海量的网络访问和数据处理中,设计并设施最强大的解决方案; 3、参与搜索引擎各个功能模块的设计和实现,构建高可靠性、高可用性、高可扩展性的体系结构,满足日趋复杂的业务需求; 4、参与产品的开发和维护,完成从需求到设计、开发和上线等整个项目周期内的工作; 5、参与海量数据处理和开发,通过sql、pl/sql、java进行etl程序开发,满足商业上对数据的开发需求; 6、参与项目为用户提供丰富而有价值的桌面或无线软件产品。 【必备项】 1、热爱编程,熟悉掌握但不限于JAVA/C/C++/PHP/NET等编程语言中的一种或几种,有良好的编程习惯; 2、熟悉网络编程和多线程编程,对TCP/IP,HTTP等网络协议有一定的理解,并了解XML和HTML语言; 3、熟悉Unix/Linux/Win32环境下编程,熟练使用调试工具,并熟悉Perl,Python,shell等脚本语言; 4、热衷于数据库技术,能够熟练编写SQL脚本,参与过MySql或Oracle应用开发项目; 5、对数据结构、算法有一定了解; 6、学习能力强,对新事物保有好奇心,有良好的沟通能力和团队协同能力,善于独立思考并反思总结。 【加分项】 1、有互联网公司实习经验,参与过互联网软件等相关产品; 2、热衷于ACM,在校期间参与过大学生数学建模竞赛,“挑战杯”,机器人足球比赛等,或作为骨干参与过学生网站的建设和开发; 3、在相关领域国际会议、期刊发表论文,或相关学术会议组织的权威比赛中获奖。
-
1.负责产品数据统计分析,包括需求讨论及开发,准确展现业务状况和趋势。 2.负责数据仓库模型设计.ETL开发,以报表等形式为业务提供数据支持 3.利用BI工具.大数据系统提取数据信息;为产品优化提供数据支持和建议 岗位要求: 1.工作4年以上,统计/数学/计算机相关专业,有数据仓库.数据挖掘的产品或技术背景优先 2.精通SQL编写;并熟练掌握常见的SQL调优方法 3.熟悉Hive,Spark,Flink大数据计算平台,有相关平台的ETL编写经验,以及测试和调度工作 4.熟悉数据仓库层级架构,熟练使用数据字典,能够快速准确的使用正确的库表和字段; 5.具备较强的数据分析能力,拥有强烈的责任心和团队合作精神,逻辑能力突出 6.熟练使用Linux系统,有Shell.Python.java编程经验者优先 7.银行数据仓库、数据集市、监管报送、数据报表、反洗钱这些项目经验优先
-
岗位职责: 1、负责大数据平台的技术预研,同时编写技术预研文档 2、负责大数据平台的架构设计,同时完成核心代码的编写 3、负责大数据平台的实施发布工作,完成开发,测试环境的大数据部署方案 任职要求: 1、计算机、数学相关专业,相关开发工作4年以上; 2、熟悉JAVA开发语言、有Go开发经验更优; 3、熟悉大数据相关离线和实时计算框架、Flink、Spark等,并相应的项目实践经验; 4、熟悉Hadoop生态圈架构,如Hive、Hbase、Phoenix、Hudi、Impala等开源组件,熟悉源码者更佳; 5、有大数据相关基础组件的维护及调优经验者优先; 6、有大数据相关技术平台的研发经验者优先,如:数据资产、可视化ETL、可视化数据开发、可视化建模等。 7、对大数据生态至少一个组件的源码有深度了解等优先。 8、对K8S容器有深入了解得更优
-
岗位职责: 1、协助数据中台技术架构设计,协助相关子模块设计; 2、协助业务分析师工作,完成数据业务需求梳理及分析; 3、负责业务数据的数据分析工作及ETL任务及数据仓库开发,部署和管理; 任职要求: 1.大数据、数学或计算机相关专业本科以上学历; 2.了解数据处理、数据建模、数据分析等过程; 3.了解一个主流ETL工具,如Kettle,Infomatica,Datastage,SSIS等; 4.了解一个主流大数据产品,如spark、Flink、EMR、Hadoop等; 5.了解一个主流的数据库产品,如Oracle,SQL Server,Maxcompute、GP等;