-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
职位职责: 1、负责字节跳动相关产品线(抖音、头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟悉Kafka/Flink/Redis/Clickhouse/ES等实时计算引擎的开发和使用优先; 4、有大规模实时数据平台落地经验者优先; 5、有图数据库和大规模图计算经验者优先。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职位职责: 1、负责风控数据链路开发工作,基于公司基础组件搭建风控数据计算平台,参与在线/近线/离线计算能力建设; 2、参与数据治理工作,提升数据易用性及数据质量; 3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、丰富的大数据生态系统开发经验,熟悉Spark、Flink、Clickhouse、Hadoop等技术; 2、4年以上大数据研发经历,计算机相关专业本科及以上学历; 3、精通Go/C++/Java等至少一门编程语言,熟练运用各种常用算法和数据结构,有独立实现能力; 4、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 5、熟悉流式计算,有大流量系统开发经验者优先。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
职位描述: 1.本科学历,学信可查 2.六年以上工作经验 3.熟悉flink、spark、hive 4.有银行经验为加分项
-
564118-资深大数据开发工程师(北京)
[中关村] 2023-01-1215k-30k 经验3-5年 / 本科软件服务|咨询,专业服务|咨询 / 不需要融资 / 500-2000人工作职责: 1、负责大数据平台的技术规划和架构工作,主导系统的架构设计和核心模块开发,确保平台质量和关键性能指标达成; 2、负责研发技术发展方向,新技术领域的探索,将新技术引入大数据平台; 3、负责公司平台数据仓库的建模和设计工作,数据抽取,数据清洗,数据建模工作,ETL设计与开发,数据质量保障,元数据管理; 4、负责大数据平台研发团队的工作分配、指导和管理,确保团队工作有序达成; 5、负责技术架构文档的书写和完善,保证文档的及时更新。 任职资格 : 1、本科及以上学历,具有5年以上数据仓库模型设计和ETL开发经验; 2、熟悉Spark相关技术,3年以上Spark开发经验,有大数据架构师工作经验优先; 3、熟悉java或者Scala语言,具有hbase、es、kafka使用经验; 4、有优良的解决问题能力,有过海量数据系统开发经验者优先。 -
1、参与研究院大数据指标、变量体系建设等相关工作:根据项目的内容需求,开发和搭建完整数据加工链路,包括:接入、解析、清洗、融合、变量衍生、存储、数据服务等。 2、研究和落地基于业务场景的数据加工流程和指标变量体系,并形成业务解决方案。
-
岗位职责: 1. 负责数据平台架构设计、相关应用型数据产品的规划与研制; 2. 建设数据指标体系和分析模型,实现数据价值; 3. 负责与业务及开发团队协同规划数据采集、加工、应用、治理全过程,推动客户业务场景应用建设; 4. 负责整合与集成其他内部技术人员、外协技术人员开发的软件功能模块; 5. 参与撰写需求分析说明书、概要设计、详细设计等相关技术文档,参与或主导软件质量相关的工作。 任职要求: 1. 本科及以上学历,数学、计算机、统计相关专业; 2. 理解云化、数据仓库,熟悉海量数据的处理,良好的数据建模能力; 3. 熟悉主流大数据和数据库管理系统技术(如Oracle/PostgreSQL/MySql、HDFS/HBase/Hive/MapReduce/Spark/Storm/Redis / Memcached/ MongoDB以及Kafka、Zookeeper、Flume、Hadoop、Flink、Yarn等技术)的工作原理及应用; 4. 了解主流体系架构各组件的优缺点,熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有直接的产品设计与开发、部署、调优的经验; 5. 了解kafka、hive、hadoop等大数据集群高可靠、高效和经济运维技术,了解系统监控、容灾、自动化、智能化运维体系; 6. 能够完成大型数据平台设计,丰富的OLAP系统经验,精通数仓架构及实施过程;深刻理解数据治理及落地方法论,有实战经验优先; 7. 精通至少一门编程语言,如C++、Java、Python等,了解设计模式,熟悉UML和ER设计方法,具有良好的设计习惯和代码架构规范,具有良好的沟通能力、协作和执行能力; 8. 熟悉数据挖掘、机器学习算法、数据可视化者优先考虑; 9. 熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,能够基于Flink引擎开发构建流式和批式⼀体化的数据融合处理产品,可以负责Flink各类处理算⼦的设计与开发。具有数据分析或数据挖掘相关经验者优先; 10. 熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等; 11. 具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论; 12. 工作积极主动,责任心强,抗压能力强,有较强的学习能力,善于交流,有良好的团队合作精神、沟通协调能力和工作推进能力,有与业务、产品、开发等多方密切配合的经验和意识; 13. 具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展。
-
职责: 1. 负责推进公司数据项目工作,包括需求分析、方案制定、产品实现、交付推广等工作。 2. 负责基于帆软报表软件的报表、大屏等数据产品的设计和开发工作。 3. 负责公司数据仓库建设,及数据ETL工作,编写ETL开发实施文档,监控和解决ETL任务的问题。 4. 负责数据指标体系的建设,维护数据字典。 5. 参与公司各项数据管理标准的制定和落实工作。 任职要求: 1. 具备2年以上相关数据项目实施经验,其中作为核心人员的项目经验不少于3个。 2. 熟练掌握任意一款商业报表设计软件,如:帆软(FineReport)、PowerBI、Tableau等。 3. 熟悉数据仓库分层模型的建模、指标提炼理论。 4. 精通SQL,对大数据基础架构有一定了解,熟悉ETL任务开发 5. 有较好的沟通理解能力和团队协作能力。
-
"任职条件 1、计算机、软件相关专业毕业,本科及以上学历; 2、熟悉数据仓库方法论及ETL相关技术; 3、熟悉SQL,具备ETL处理、SQL优化、海量数据处理的实战经验; 5、熟悉Linux/Shell,熟悉Python/Java/Scala等开发语言,编码基本功扎实; 6、了解大数据平台hadoop、flink技术栈,使用过Hive/HBase/spark等大数据平台组件优先; 7、具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展; 8、工作积极主动,责任心强,抗压能力强,有较强的学习能力,具备良好的团队合作精神、沟通协调能力和工作推进能力。"
-
2、熟练掌握如Oracle、Mysql、SQL Server等关系型数据库,熟悉大数据处理工具中的一项或多项,包括但不限于Hadoop,Hive,Spark,Flink, Kafka,ES等; 3、精通SQL,熟悉Linux 命令,熟练掌握一种以上Java、Python、scala等编程语言,具备对软件技术的深刻理解,熟悉掌握软件工程,熟练掌握相关技术标准; 4、熟悉数据仓库的架构设计和数据建模,具备大型数据仓库两年以上开发经验,编写过需求文档、数据分析报告、数据库设计文档、数据部署方案等文档; 5、有较强的数据敏感性和业务理解能力,能够快速理解业务并制定合理的分析方案; 6、具备良好的团队意识、较强责任心和积极性,具备独立解决问题的能力; 7、对数据治理有一定经验者优先;有过对数据进行处理和输出并完成有效的分析推理和决策经历者优先。
-
京东集团2025年数据开发工程师高薪招聘 【岗位职责】 千亿级数据处理系统开发 设计实时/批量处理架构,支撑京东市场营销、用户增长等业务在站外广告投放场景下的千亿级数据处理,支撑业务报表和算法模型的特征样本生产 百亿级报表引擎研发 构建高效数据仓库与实时分析平台,实现百亿级数据秒级查询与可视化 大模型智能体应用 开发AI驱动的问题发现/诊断工具,探索大模型在智能分析场景的落地 【任职资格】 硬性要求 · 计算机相关专业本科及以上学历 · 精通Java/Scala,具备良好的数据结构和算法基础 · 3年以上大数据开发经验,掌握Hadoop/Spark/Flink/Kafka/Redis/Hudi/Iceberg/ClickHouse/Doris等技术栈 · 具有较好的沟通能力、学习能力和团队合作精神,乐于挑战自我,有进取心和求知欲。 加分项 · 有搜推广数据系统、大模型应用开发经验者优先 【工作地点】 北京通州区京东总部 京东集团:以技术驱动零售变革,期待你的加入!
-
岗位职责: 1. 负责广告物料流水系统的架构设计与性能优化,支持上亿级别物料的实时处理与下发,确保数据的实时性和可靠性 2. 负责大型分布式广告检索引擎的架构设计和优化,支持毫秒级别实时索引系统的研发,研究和设计针对不同场景的最优索引架构 3. 负责广告在线系统的性能调优、架构设计与优化,支撑数百亿请求压力的高可靠系统的研发,通过合理运用算力和系统容量以提高系统性能和进行广告收益最大化探索 4. 负责广告在线系统的业务能力建设,包括广告产品的业务需求落地、广告效果优化、在线系统的迭代效率提升等 5. 持续关注广告科技领域的最新进展和技术趋势,参与技术研究和创新,不断优化系统架构,提升广告在线系统的效果和性能 岗位要求: 1. ***大学硕士及以上学历,计算机相关专业 2. 熟练Java/scala高级语言,掌握SQL/Shell/Python脚本语言,熟悉常用的数据结构和算法,熟悉网络编程、多线程编程,有良好的编程习惯 3. 有分布式系统开发、大数据处理开发经验者优先;有Spark/Flink/Kafka分布式框架的实践并掌握原理,对源代码有一定研究者优先; 熟悉ElasticSearch、Lucene等开源项目,熟悉搜索引擎原理和代码实现者优先 4. 具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题 5. 有强烈的上进心和求知欲,善于学习新事物 6. 良好的团队合作精神,较强的沟通能力和学习能力 7. 有广告在线系统经验者优先 地址:北京市亦庄京东总部 部门简介: 广告系统技术部作为京东平台运营与营销中心的核心团队,承接京东站内外流量商业化的系统建设工作,负责广告系统的整体架构设计和技术选型、高性能异构计算的设计和优化以及离线海量数据的存储与高时效计算。涵盖广告数据/物料流、 广告在线模型服务、广告在线播放、广告实时检索、广告数据系统等核心模块,涉及百亿吞吐高并发处理、海量数据的分布式存储、高效索引检索、在线高性能计算、离线大规模机器学习训练等技术,是京东技术栈最全面的团队之一。 我们拥有互联网广告业内一流的技术团队,有着丰富的行业经验和技术培养体系,作为我们技术团队的一员,你将有机会参与到各种创新性和有挑战性的项目中。你可以与各个领域的专业人员和同事合作,共同探索前沿的技术,有机会利用你的技术能力和个人兴趣来解决业务问题,创建出更丰富和更个性化的技术解决方案。 如果你具备创新意识和技术能力,渴望实现自己的人生价值和职业目标,我们诚挚地邀请你加入我们的技术团队,共同致力于技术创新和社会进步的使命!