-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;
-
职位描述: 1、参与数据集成产品的技术架构设计; 2、研发分布式核心数据同步产品; 3、保障系统可用性、稳定性和可扩展性。 岗位需求: 1、 数据结构与算法能力扎实; 2、深入理解分布式系统原理,例如 CAP、分布式一致性协议、高可用策略、分布式应用编程等; 3、具备数据库迁移、同步、集成等中间件开发经验者优先; 4、熟悉 SeaTunnel/Airbyte/Flink CDC/Canal/Datax 等开源中间件等数据集成等相关技术源码者优先, 对 Fivetran 等商业数据集成产品熟悉更佳; 5、具备良好的团队协作能力、语言表达能力,有责任心; 6、有开源社区贡献优先
-
1、计算机相关专业,本科及以上学历,5年以上工作经验,3年以上大数据开发经验; 2、精通Hive SQL,Spark SQL,ODPS SQL等大数据SQL开发中的一种,熟悉python/Java、Flink语言的优先; 3、熟悉或使用过阿里大数据产品:MaxCompute、Dataworks、DataX等优先; 4、熟悉数据分层原则,严格管控数仓各分层的数据流向,建设高效、安全、健壮的数据中台; 5、熟悉数据建模的方法论,能开展跨主题多领域的模型建设,并持续优化模型;掌握指标体系建设理论; 6、熟悉常见的数据规范、数据标准、数据质量控制、数据安全策略,并结合公司实际环境,输出具可行性的数据管理规范文档; 7、能深入了解业务底层逻辑,贯穿业务上下游链路,并能对业务不了解人员进行培训讲解; 8、能够快速熟悉整体业务逻辑、场景,深入挖掘客户需求,从需求中深度分析关键需求,帮忙用户/产品理清需求并抓住关键点,让业务数据价值落地。
-
岗位职责 1.参与客户数字化转型项目的顶层设计和整体咨询规划项目,能够理解客户的业务需求和目标,提供相应的数字化转型方案和规划。 2.熟悉云原生技术,能够设计和选择适合客户的分布式系统架构,包括云上服务、软件的技术选型、架构设计等。 3.设计和规划系统上云、迁移和业务割接方案,确保客户的业务能够顺利迁移到云平台上。 4.绘制用户企业应用集成关系图,设计和规划企业应用总线或集成总线,确保不同应用之间的有效集成和交互。 5.根据客户的业务场景需求,设计适合的高可用、容灾及业务双活架构方案,确保系统的稳定性和可靠性。 职位要求 1.10年以上应用开发技术和应用架构相关工作经验,并在技术设施外包、技术架构解决方案、领导解决方案团队等领域拥有5年以上的工作经验: 2.深刻了解Netty、Kafka、Redis、Zookeeper等常用中间件的应用,熟悉常用设计模式; 3.熟悉网络编程,具有设计和开发对外API接口经验和能力; 4.熟悉Linux编程体系,对系统内核的处理机制有一定了解; 5.对容器、K8s的架构体系以及微服务的本质有较深了解,有实施过企业容器环境开发经验者优先; 6.对分布式技术、低代码、微服务架构、容器技术、消息队列、多技术栈、存储等相关技术领域有一定了解; 7.熟悉数据集成工具,了解数据集成产品技术,如Camal,Talend,DataX等;熟悉开源ESB产品,如Mule, Servicemix等;熟悉敏捷开发Scrum流程; 8.对工作流平台、技术中台、数据中台、公私有云等企业技术平台有简单了解; 9.有大型分布式、高并发、高负载、高可用性、多子系统、多租户系统设计经验者优先; 10.本科及以上学历,计算机科学、软件工程、信息技术等相关专业; 11.有政企用户信创国产化设计经验优先。
-
岗位职责: 1、负责售前/售后过程的技术支持工作,包括客户线上沟通、指导产品使用、问题分析排查等工作; 2、负责Java、Python等服务端SDK以及Flume、Datax等数据采集工具的使用指导和接入问题排查; 3、负责数据接入、数据修复等数据治理工作,包括向客户提供数据治理方案以及协助客户开发、实施; 4、编制对内对外的技术文档,以及对内培训和经验分享; 5、整理和沉淀客户需求和反馈,定期与产研团队交流分享。 任职要求: 1、本科及以上学历,计算机或相关专业; 2、3年以上Java开发或大数据开发经验; 3、熟练掌握 java开发相关技能,熟悉Spring框架、Kafka等; 4、熟悉SQL、Linux操作; 5、具备良好的问题分析和解决能力,能够快速定位并解决客户问题 ; 6、具备大数据行业经验,熟悉Hadoop、Flink、Flume等技术者优先; 7、具备良好的沟通能力和客户服务意识,有toB服务经验者优先
-
职位描述 1、参与业务需求分析、落地方案设计以及编码实现,同时输出相关文档; 2、参与数仓、IFRS17数据处理平台等相关数据应用的开发、支持工作; 3、IFRS17项目上线后,负责相关系统的开发优化及运维支持工作 任职资格: 1、***本科及以上学历,计算机相关专业,4年以上数据工作经验,有过IFRS17实施经验尤佳; 2、熟悉关系型数据库,熟练编写Oracle存储过程、PLSQL以及性能优化; 3、熟练掌握数据仓库概念,有Kimball等模型建模经验优先; 4、了解常用的ETL(如kettle、datax、Informatica)以及常用的任务链调度工具AZKABAN、DolphinScheduler等; 5、良好的沟通、表达、团队合作能力; 6、有保险或者金融行业项目数据开发经验和良好的英文文档阅读能力优先 备注:持有工业和信息化部人才交流中心颁发的可信软件开发工程师证书的候选人同等条件下将优先录用
-
岗位职责: 1:数据项目的ETL开发工作 2:熟悉hadoop架构 hdfs spark flink 3:熟练使用ETL工具,比如datastage/kettle/datax/dolphinscheduler等 4:设计ETL整体架构和任务调度平台 5:熟悉ETL流程及开发 6:参与数据仓库ETL流程优化及解决相关技术问题 7:熟练编写plsql 8:参与数据仓库建模,不断改进现有数据仓库 9:大数据环境的搭建与运维 10:熟悉python或java优先 11:熟悉MPP(doris clikhouse)优先 任职要求: 1.本科及以上学历,计算机/软件工程等相关专业优先; 2.2年以上相关工作经验,有大型数据仓库实施经验者优先; 3.有良好的沟通能力和自我驱动动力,具备出色的规划、执行力,有强烈的责任感,以及优秀的学习能力,对技术有热情,愿意不断尝试新技术和业务挑战。 福利待遇:早九晚六 做五休二 带薪年假 零食下午茶 年度体检 定期团建
-
岗位职责 1、参与公司大数据平台产品应用后端设计和开发; 2、参与大数据平台产品项目交付过程中定制开发需求分析、评估与开发交付; 3、负责大数据平台产品的日常运维、问题跟踪解决和性能优化; 4、负责DevOps工具链和容器平台的运维和部署工作。 任职要求 1、计算机相关专业的**本科及以上学历,扎实的Java编程基础和计算机专业基本功; 2、5年以上j2ee开发经验,至少参与过1个以上大中型企业级项目的实际开发工作; 3、精通Spring家族生态圈技术堆栈,包含但不限于Spring Boot、Spring Cloud、Spring Security和Spring Data等; 4、熟悉docker、kubernetes、mesos、rancher等容器技术并有实际封装、使用和运维经验; 5、擅长使用大数据、分布式等相关常见开源技术框架,包含但不限于redis、kafka、zookeeper、es等; 6、可熟练使用Hadoop生态环境常见组件和服务,包含但不限于Hive、DataX、Sqoop、Spark、Flink、HBase、Clickhouse、DolphinScheduler等, 7、有较强的逻辑思维能力和沟通能力,善于分析、归纳和解决问题; 8、有大厂分布式、高并发线上产品相关背景和大数据产平台和数据中台产品开发经验优先.
-
岗位职责: 1、 负责数据平台(包括数据治理,主数据管理)产品的研发管理。 2、 负责数据平台产品的中长期规划和具体设计,对行业及竞品进行深入的研究,持续提升产品能力,确保产品业界领先地位。 3、 参与面向企业的行业售前解决方案,参与售前阶段需求分析、方案设计等。 4、 参与重点数据治理、数据中台项目的实施 任职要求: 1、硕士或以上学历,电子信息、计算机科学与技术、软件工程等相关专业(特别优秀者,可适当放宽); 2、3年以上技术团队管理经验; 3、精通软件产品研发项目管理、软件实施项目管理; 4、擅长数据中台、湖仓一体、数据开发、数据治理、主数据管理等领域相关体系方法论、产品应用; 5、熟悉 Hadoop 生态相关组件,熟悉 Spark、Flink、Ranger、DataX 等; 6、具备数据治理或者主数据项目实施经验; 7、熟悉数据标准梳理、 数据质量稽核、元数据管理、数据资产运营等领域的梳理、规划、落地实施; 8、有PMP或者IPMP证书优先
-
职位描述: 1.主导公司的数据仓库架构设计与数据开发,负责数据平台的数据模型设计与ETL开发; 2.负责数据平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地 ; 3.负责来自业务团队数据需求的研发支撑; 4.与小伙伴一起调研和实践热门数据仓库组件和技术(spark、doris、storm、实时数仓等); 5.具备良好的设计和文档编写能力,能够完成数据开发过程输出,思路清晰; 6.具有良好的业务敏感度和数据分析能力,能够独立完成基础数据探查、质量分析等分析报告; 7.具有良好的沟通能力,有较强的独立工作能力和解决问题的能力。 职位要求: 1.本科及以上学历,电子、计算机、通信相关专业; 2.3年以上数据仓库、数据模型设计开发经验; 3.熟悉数据仓库理论和数据建模方法,熟练使用数据建模工具,并具备项目实际开发经验; 4.熟练掌握 Java / Python / Shell 中至少一种编程语言; 5.精通多种主流数据库及大数据组件,包括MySQL、Oracle、DATAX、HBASE、GP等,并具备较强的实践能力,有独立处理大规模数据/日志的经历; 6.熟悉数据仓库建设方法论: a:熟悉etl分层(ODS,DWS,DWD,ADS)建设方法; b:熟悉主题建设方法,能独立抽象主题、建设模型、物理化并调整效率和性能; c:熟悉常用的BI系统建设方法,熟练使用主流BI工具,理解其实现原理、使用什么技术解决什么问题; 7.熟悉数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、性能调优等。
-
【岗位职责】: 1、与业务对接,理解业务需求,输出数据应用落地解决方案(包括etl设计、模型设计、数据服务等); 2、负责数据应用开发,包括etl、数仓、报表、数据服务API开发等; 3、带领小团队,完成数据项目实施。 【任职要求】: 1、本科及以上学历,计算机、数学、统计学等相关专业优先; 2、5年及以上数据库仓库开发经验,精通SQL语法,熟练掌握数据仓库设计理论、方法及开发规范; 3、至少掌握一种主流ETL工具(Datastage、kettle、dataX等); 4、至少掌握一种主流报表开发工具(Cognos、TableaU、帆软等); 5、至少熟练使用一种OLAP数据存储引擎(clickhouse、presto、Kylin、doris等); 6、熟悉主流的大数据处理架构(Hadoop、hive、Spark、Hudi、Iceberg等); 7、具有良好的综合分析、专业判断能力,能独立工作并解决问题,工作责任心强,富有团队协作精神和良好沟通协调能力。
-
岗位职责: 1. 负责数据仓库的设计与开发、存储过程编写、ETL过程的设计与开发; 2. 负责各业务系统数据源数据探查调研,准确性完整性验证; 3. 参与公司BI项目中ETL流程优化及解决ETL相关技术问题; 4. 参与数据仓库相关应用系统需求分析、开发、测试; 任职要求: 1. 熟悉ETL数据加工流程; 2. 熟悉主流数据库(oracle,mysql,sqlserver)、熟悉SQL、存储过程及优化方法; 3. 有linux基础,能看懂并编写简单shell脚本; 4. 熟悉主流ETL工具,例如kettle,datax等,熟悉对数据同步工具,例如:Flink熟悉使用; 5. 熟悉任何一种主流的编程语言(JAVA、C、C++、PYTHON、javascript、C#).
-
工作职责 1.调研及分析政府行业城市大数据底座架构,并结合客户实际业务制定不同项目的数据架构方案; 2.基于政府客户数字化需求,联合解决方案同事,输出数据解决方案; 3.承担客户需求调研,推动并落地数据集成,数据治理,离线开发,实时开发,算法开发,BI分析的系统性工作; 4.负责数据生态公司及其数据产品的选型及分析工作,并拟定选型报告,对选型结果负责; 5.深入了解实际业务,与业务部门高效配合,通过数据分析、数据挖掘、机器学习等方法挖掘数据价值,不断完善数据预测、决策支撑等相关体系; 6、负责大数据平台开发的架构工作; 7、智慧城市及交通行业背景优先。 工作要求 1.算机、软件开发、统计学相关专业优先,具有5年以上数据相关工作经验; 2.丰富的大项目的经验,有丰富的跨团队、部门的项目资源整合能力,能够独立主导项目; 3.对大数据技术较深理解,熟悉多种开源技术框架,如:Hadoop、Spark、Flink、Elasticsearch、Kafka、DataX、Flume 等; 4.擅长业务抽象和领域数据建模,具备较丰富的海量数据采集、治理、分析等实战项目经验; 5.优秀的大数据分析和问题解决能力,能够攻克复杂的系统难题,有机器学习实践经验者优先; 6.精通Java和Python语言,常用的数据结构,了解最新的前端框架; 7.熟悉主流的云生态环境。
-
岗位职责: 1、负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境; 2、负责基于海量数据采集、存储、治理及服务方案的技术选型及架构设计; 3、负责实时、离线数据分析处理及实时平台的建设和搭建; 4、从整体技术架构角度协助并推动战略落地,开发大数据平台的核心代码; 5、负责产品研发过程中的技术架构设计、数据处理逻辑等方面文档的沉淀与积累。 参与研发团队的日常技术交流与分享,为其他同事提供技术指导与帮助; 6、深入研究大数据前沿技术和产品,与业界先进技术保持同步。 任职资格: 1. **计算机相关本科以上学历,有5 年以上PB级别以上大数据平台项目工作经验; 2. 精通大数据相关组件技术,包括但不限于DataX/Canal、 Hadoop体系、Flink、OLAP、调度系统、权限系统等,理解其内部原理和适用场景,了解核心源码及调优方法; 3. 熟练运用Java和Python,熟悉分布式系统的设计和应用,熟悉数据库、缓存、消息队列、RPC等内部机制; 4. 有实际的大数据工程平台建设实践经验,在 ETL 开发和大数据集成、数据开发等领域有实战经验; 5. 有强烈的主人翁意识,能适应一定工作压力,并有较强沟通能力和理解能力,有一定的团队管理能力; 6. 有大数据中台建设经验、数据治理经验或出行大数据从业经验者优先。