-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
岗位职责: 1、参与大数据项目的需求分析、系统架构设计、并完成需求设计相应文档的编写; 2、深入理解数据业务,负责业务模型抽象、数据模型的设计开发,特征提取、分析和挖掘工作; 3、参与数据仓库建设,负责数据仓库模型设计,开发高质量可扩展的底层数据仓库体系; 4、负责运营商、金融、交通、智慧公园等大数据中台数仓项目和数据治理类项目建设。 任职要求: 1、本科及以上学历,计算机或者数学等相关专业,具备5年以上大数据和数据仓库相关工作经验。 2、熟练掌握大数据开发工具的使用(hdfs、hive、hbase、spark、flink、kafka等) 3、熟悉SQL开发,复杂SQL优化,熟练使用mysql、oracle、hive等。 4、熟悉java/scala、python开发语言。 5、具有良好的沟通、理解及表达能力,具有良好的抗压能力,可接受出差。 6、具有大数据系统架构能力、及有团队管理经验的优先考虑。
-
职位描述: 1.本科学历,学信可查 2.六年以上工作经验 3.熟悉flink、spark、hive 4.有银行经验为加分项
-
任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位职责 1、实时/离线数据湖内核功能研发以及性能优化,包括数据湖与hive\spark\flink的集成,索引功能开发,upsert功能开发等; 2、负责数据湖技术在公司内部以及外部项目的落地; 3、参与公司大数据平台建设。 岗位要求 1、本科及以上学历,计算机相关专业,3年以上相关经验; 2、熟悉Java或scala,熟悉Linux操作系统; 3、必备技能:Hive、MR(Java)、Flink、Spark;对大数据处理(Hadoop)、数据仓库结构有较深刻的认知; 4、工作态度端正,有较强的责任心及执行力,紧急工作能够快速响应; 5、有开源数据湖相关经验优先。 PS:公司预估九月初搬家至通州区北运河西地铁站附近,请确认好位置是否合适
-
职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 一年及以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
职位职责: 1、负责数仓架构设计与人群、内容、投后结案等功能模块数据开发 2、负责数据治理工作,不局限于数据稳定性、数据质量等 3、参与OLAP引擎选型,解决实时数据查询痛点问题 职位要求: 1、具备数仓建模、数据治理设计与开发经验,掌握至少一门编程语言,如python、java、golang等 2、熟悉掌握Spark/Hive/Hadoop/Flink工作原理及应用,具有海量数据处理经验优先 3、熟悉掌握Clickhouse/Doris/ES/Druid其中一种或多种OLAP存储引擎,具备使用与调优经验优先 4、对数据敏感,具备较强的业务能力,能够挖掘业务痛点并解决加分 5、对互联网广告有较强的兴趣优先,具备良好的沟通协作能力、责任心
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
职位职责: 飞书企业应用专注于泛财务领域。我们致力于建设基于大数据,搭建智能化、业财一体的财务中台,为互联网生态业务提供合规可控、效能卓越、业务洞察强的平台化能力,让经营者看清现状、预见未来。以技术中台的形式支撑财务税务,提供一站式产品能力,包括应收应付、发票、计税、付款,以及海量数据的清算、核算、报表、风控、分析。 欢迎对技术有孜孜追求的你,加入我们,一起探索和研究互联网时代的企业应用产品! 1、负责财务数据全链路质量保障和治理,包括但不限于数据同步、数据加工(离线+实时)、数据资产化(指标、标签等)、数据业务支撑(财报、管报、应用服务数据等); 2、负责数据类产品的质量保障方案设计及执行落地; 3、通过数据资产审计、制定准入准出机制、设计及执行数据校验核对、资产巡检、变更防控、仿真预演、监控应急等方式保障数据资产及数据产品的质量; 4、通过测试流程标准、方法和技术创新、自动化工具化等方式提升业务数据资产质量、数据产品质量、研测效率; 5、不断探究和建设一流的大数据领域技术风险保障体系和技术风险保障平台。 职位要求: 1、数据或数据产品相关的开发或测试4年以上经验,对数据仓库、数据挖掘、数据平台、数据引擎领域知识有较好储备; 2、熟练掌握一门或多门编程语言,如Java、SQL、Python、go等;有测试框架或质量平台开发经验、大型项目开发编码经验者优先; 3、熟悉数据仓库模型设计、ETL开发,维度建模设计方法,具备海量数据处理经验者优先;具备数据研发平台、数据服务等数据产品开发测试经验者优先;具备分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术者优先; 4、具备大型项目的整体质量保障经验者优先;具备性能、异常、稳定性、用例自动生成等专业测试领域经验者优先; 5、具备较强的逻辑思维能力,谈判能力和冲突管理能力;良好的沟通能力和团队协作能力;快速适应变化、结果导向、追求上进。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题,对系统架构设计有丰富的经验,能够给出合理的设计方案; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 三年以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
岗位职责: 1. 负责广告物料流水系统的架构设计与性能优化,支持上亿级别物料的实时处理与下发,确保数据的实时性和可靠性 2. 负责大型分布式广告检索引擎的架构设计和优化,支持毫秒级别实时索引系统的研发,研究和设计针对不同场景的最优索引架构 3. 负责广告在线系统的性能调优、架构设计与优化,支撑数百亿请求压力的高可靠系统的研发,通过合理运用算力和系统容量以提高系统性能和进行广告收益最大化探索 4. 负责广告在线系统的业务能力建设,包括广告产品的业务需求落地、广告效果优化、在线系统的迭代效率提升等 5. 持续关注广告科技领域的最新进展和技术趋势,参与技术研究和创新,不断优化系统架构,提升广告在线系统的效果和性能 岗位要求: 1. ***大学硕士及以上学历,计算机相关专业 2. 熟练Java/scala高级语言,掌握SQL/Shell/Python脚本语言,熟悉常用的数据结构和算法,熟悉网络编程、多线程编程,有良好的编程习惯 3. 有分布式系统开发、大数据处理开发经验者优先;有Spark/Flink/Kafka分布式框架的实践并掌握原理,对源代码有一定研究者优先; 熟悉ElasticSearch、Lucene等开源项目,熟悉搜索引擎原理和代码实现者优先 4. 具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题 5. 有强烈的上进心和求知欲,善于学习新事物 6. 良好的团队合作精神,较强的沟通能力和学习能力 7. 有广告在线系统经验者优先 地址:北京市亦庄京东总部 部门简介: 广告系统技术部作为京东平台运营与营销中心的核心团队,承接京东站内外流量商业化的系统建设工作,负责广告系统的整体架构设计和技术选型、高性能异构计算的设计和优化以及离线海量数据的存储与高时效计算。涵盖广告数据/物料流、 广告在线模型服务、广告在线播放、广告实时检索、广告数据系统等核心模块,涉及百亿吞吐高并发处理、海量数据的分布式存储、高效索引检索、在线高性能计算、离线大规模机器学习训练等技术,是京东技术栈最全面的团队之一。 我们拥有互联网广告业内一流的技术团队,有着丰富的行业经验和技术培养体系,作为我们技术团队的一员,你将有机会参与到各种创新性和有挑战性的项目中。你可以与各个领域的专业人员和同事合作,共同探索前沿的技术,有机会利用你的技术能力和个人兴趣来解决业务问题,创建出更丰富和更个性化的技术解决方案。 如果你具备创新意识和技术能力,渴望实现自己的人生价值和职业目标,我们诚挚地邀请你加入我们的技术团队,共同致力于技术创新和社会进步的使命!
-
工作职责: -负责构建大数据分析平台以及数据分析和挖掘工作 -跟进相关产品线的数据梳理,各数据指标的计算和分析 -参与海量数据的存储、查询和运营数据分析体系搭建 -运用hadoop、hive、spark、ES等分布式计算和存储平台 职责要求: -计算机相关专业,3年及以上相关工作经验,有扎实的计算机理论基础 -研究过Hadoop或者Spark源代码的优先 -熟悉Java/Python等编程语言,熟练使用SQL,有良好的编码习惯 -技术视野开阔,有强烈的上进心和求知欲,善于学习和运用新知识 -善于沟通和逻辑表达,良好的团队合作精神和积极主动的沟通意识 -具备大数据云平台、计算存储平台、可视化开发平台经验优先 百度地图
-
工作职责: -负责百家号和Feed相关大数据的基础建设 -负责数仓引擎、Spark底层的优化和基础建设 -为百度系APP相关业务分析及策略优化提供大数据支持 -参与百度系APP日志数据架构开发和APP端性能分析平台建设 任职资格: -本科及以上学历,计算机相关专业 -熟练使用SQL,以及Scala/C++其中一种编程语言,对分布式架构和并行计算有较深刻理解 -熟悉Hadoop/Spark/HBase/Kylin/ClickHouse等大数据计算和存储技术栈,了解其工作原理,并有实际开发经验 -熟悉Spark Streaming/Flink等流式计算框架,以及Kafka等常见消息队列