-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
岗位职责: 1、负责账务、线上业务运营相关服务的设计和开发; 2、深入分析业务需求,撰写技术方案和系统设计; 3、完成详细设计和编码的任务,确保项目的进度和质量; 4、能快速分析解决复杂的技术问题; 任职要求: 1、本科及以上学历,专业基础扎实,计算机及相关专业优先; 2、为人踏实,协作能力强,能接受一定的工作压力; 3、具有较强的自我驱动能力和自学能力,沟通能力强; 4、Java Web开发3年以上经验,熟悉面向对象开发模式,了解常用的设计模式; 5、精通Java面向对象开发模式,了解常用的设计模式、熟练使用J2EE开源框架如Spring/SpringBoot/MyBatis-plus/Maven等,并了解其架构和实现原理; 6、精通Java集合包和并发包。或者精通Guava等第三方集合包; 7、熟悉MySQL数据库,能独立完成MySQL的数据库设计、性能调优等; 8、熟悉Kafka、RabbitMQ、Redis、HBase等常用MQ和非关系型数据库; 9、有Hadoop、Hive、Spark、Flink等大数据工具使用经验者优先; 10、有支付、账务系统、清结算、RPA、电子券、BI及数据可视化项目或行业工作经验优先。
-
工作职责: 1、充分理解业务需求及痛点,利用数据挖掘、数据分析、机器学习等技术挖掘业务价值,解决业务需求; 2、负责风控、定价等板块具体的数据挖掘项目,包括但不限于数据加工、数据分析、特征工程、构建模型等工作,并就对应项目阶段性成果进行汇报与分享,为业务发展提供支持; 3、参与构建用户全生命周期营销管理,构建以用户运营为核心的高质量的标签体系; 4、与业务团队构建良好的合作关系,积极沟通交流,推动合作项目成功。 任职资格: 1、3年以上数据分析/数据挖掘/机器学习等相关领域经验;**本科或以上学历;熟悉保险业务优先考虑; 2、熟练使用Python/Scala/Java中一门或多门语言;熟悉Spark/Hadoop/Hive等大数据处理技术,有阿里大数据生态Maxcompute、Dataworks、PAI项目经验的优先考虑;熟练使用Sql进行数据处理; 3、熟悉机器学习基本理论、数据分析常用方法论等相关理论知识,了解概率论与统计学基础; 4、有多类数据挖掘项目的实施落地经验,全链路打通并工程化部署,且能不断优化,进而产生业务效果; 5、自我驱动,能主动深入了解业务,适应业务变化;有良好的个人表达和组织沟通能力,推进项目开展。
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: 1.负责电商供应链数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商供应链数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商供应链数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.3年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.掌握实时处理技术相关组件(如Kafka、Flink等); 6.负责过数据治理或数据仓库设计优先;
-
岗位职责: 1. 负责到店平台数据领域的质量建设工作,包括但不限于数据生产加工及数据平台、数据产品的质量保障方案制定及落地。 2. 通过建设数据可测性、全链路追踪、数据监控体系等能力,保障数据质量。 3. 参与数据应用的效果评估体系建设,如:算法策略的效果评估等,对数据应用的最终业务效果和质量负责。 4. 参与建设到店平台数据领域的研发交付体系,从测试环境、可测试性、测试工具等方面,提供稳定高效的测试能力和测试基建。 岗位基本要求: 1. 计算机或相关专业本科以上学历,计算机技术基础扎实,编程能力过关。 2. 两年以上的大数据测试经验,熟悉数据算法研发测试流程。 3. 熟悉Hadoop/Hive/Spark/Flink等大数据生态相关技术,在数据仓库、数据平台、数据挖掘领域有一定知识积累。 4. 具备较强的逻辑思维与表达能力,善于沟通协作,学习能力强,具有良好的团队合作精神。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
职位职责: 1、负责字节跳动各业务直播数据的汇聚与接入; 2、负责直播数据平台数据链路建设和数据开发规范建设; 3、建设数据质量体系,形成完整的数据监控和数据校验机制; 4、负责直播相关数据需求的开发,能独立设计方案、把控需求、拆解细化并实施。 职位要求: 1、熟练运用Python、Java、Scala、Go等至少一门语言,对数据结构和算法设计有较为深刻的理解; 2、熟悉MySQL/postgresql/MariaDB等至少一类数据库,熟悉常见的NoSQL存储; 3、熟悉Hive数据仓库设计,了解数据仓库模型及思想、维度建模思想; 4、丰富的大数据技术经验,熟练掌控至少2种大数据技术,包括不限于Hadoop、HBase、Spark、Kafka、Storm、Flink等; 5、具有良好服务意识与数据sence,团队意识和协作精神; 6、较强的内外沟通能力,有数仓开发经验者优先。
-
离线平台数据开发工程师 (MJ001515)
[深圳·福田区] 11:35发布15k-30k·13薪 经验3-5年 / 本科旅游|出行 / D轮及以上 / 500-2000人岗位职责 1、基于Spark/Hive构建企业级数据仓库及离线处理平台; 2、基于Spark/Trino构建统一的查询服务,支持ETL/AdHoc查询; 3、基于Spark源码完成问题修复及自定义功能开发; 4、参与维护离线调度系统的稳定性及性能优化; 5、参与大数据应用规划,为数据产品、挖掘团队提供应用指导。 任职要求 1、本科及其以上学历,计算机相关专业; 2、精通Java/Scala语言,熟悉JVM的常用调优及问题定位,追求高标准的工程质量; 3、对Spark/Hive等离线计算框架有深入理解;对Spark源码熟悉优先; 4、熟悉Hadoop、Trino、Kafka、ZK、Elasticsearch、Redis等的工作原理; 5、熟悉常用算法和数据结构,熟悉网络编程、多线程编程技术; 6、逻辑清晰,思维敏捷,思路严谨,能独立分析和解决问题,责任心强,具备良好的团队协作能力; 7、具有较强的学习能力、自我管理能力、敢于挑战。 -
工作职责: 1、负责云端仿真业务核心模块的微服务体系研发、性能调优。 2、负责仿真业务大数据处理平台的研发、部署及维护。 3、负责在特定业务场景下进行技术选型。 4、负责业务研发过程中的技术攻关、对一些技术难题提出解决方案。 任职要求: 1、本科及以上计算机及相关专业;3年及以上工作经验。具有强烈的责任心、使命感、协作精神。 2、精通Java,熟悉Spring等相关技术栈。 3、精通数据库原理及相关性能调优技术,熟悉mybatis框架,熟悉postgresql、mysql等主流数据库。 4、精通常用微服务开发框架。 5、对实时、批处理大数据平台、数据中台等高并发及高可用分布式系统有相关研发或使用经验。 6、精通不同业务场景下的存储和计算技术选型,如高速缓存、分布式存储、实时计算等。 7、具有较强的学习能力、严谨的逻辑思维能力、工程实现能力,良好的编码规范。能够灵活高效地解决研发过程中的技术问题。 加分项: 1、互联网背景,微服务架构、大数据平台、数据中台等研发或使用经验。 2、拥有但不限于下述分布式技术框架的二次开发、部署或使用经验:SpringCloud、Dubbo、Flink、Storm、Spark、ES、Redis、HBase、MongoDB。 3、C++、Python语言相关经验。 4、K8S、Docker相关技术经验。
-
岗位职责: 1、带领部门数据中台数仓开发成员,负责太保寿险内部数仓各层逻辑模型的设计、建设与维护,构建可扩展的数据仓库公共模型; 2、负责数据处理流程的优化、定位并解决有关技术问题; 3、对接公司个险、团险、运营等业务团队,协调满足业务团队对于各维度数据的需求; 4、参与制定公司与事业部数仓规划、数据研发规范、以及数据治理与指标的管理方案。 任职要求: 1、5年以上数据仓库工作经验,熟悉数据仓库模型设计方法论,有实际搭建公司层级数仓的经验; 2、精通数据仓库有关领域知识,例如元数据管理、主数据管理、ETL工作流、SQL性能调优等; 3、精通SQL、熟悉Shell、具备海量数据加工经验; 4、熟悉Flink或者阿里Blink等实时计算框架,并有实际实时数仓开发经验; 5、有阿里云数据中台产品DataWorks、MaxCompute工作经验优先、熟悉Hive/Flink/Spark等开源大数据工具优先; 6、有较强的问题抽象、概括、总结能力,独立思考并能以产品的思路提出解决方案; 7、具有较好的沟通理解能力,团队协作和创新能力; 8、有互联网公司或者保险金融企业数仓建设经验者优先; 9、有一定团队管理经验。
-
工作职责: 1. 负责B站商业化策略算法研发,优化模型算法和策略机制,提高广告变现效率,提升用户体验,优化商业生态 2. 结合业务需求,对用户及内容数据进行挖掘和建模,优化用户和内容画像 2. 跟踪学习相关领域前沿进展,实现技术突破和业务落地 工作要求: 1、熟悉机器学习、深度学习、数科类算法等中的一项或者多项技术,具备项目经验。 2、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析和解决问题 3、熟悉spark、hadoop、hive等大数据处理技术 4、有推荐/广告/搜索算法的工作经验,对相应系统和技术问题有充分理解