-
工作职责: 1、负责OLAP引擎开发和稳定性保障工作,提升服务SLA标准; 2、参与OLAP引擎内核优化和定制开发,OLAP引擎运维管理平台建设,及其日常需求开发; 岗位要求: 1、本科及以上学历, 计算机相关专业, 3年以上大数据平台开发经验; 2、熟悉Java或者C++编程,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 3、掌握至少一种脚本语言:python/shell 等; 4、具备良好的问题分析与解决能力,有较强的逻辑思维能力,责任心强; 5、熟悉业界主流OLAP引擎的原理,如物化视图、列式存储等,有 Doris、Druid、Starrocks 、clickhouse等大数据引擎开发或开源贡献者优先;
-
工作职责: 1、参与大数据相关的基础服务和中间件等研发,包括 OLAP引擎/实时计算平台/查询引擎/任务调度系统等大数据生态服务; 2、负责Flink、OLAP引擎 等大数据组件的优化定制,并推动在公司的应用落地 岗位要求: 1、计算机相关专业本科及以上学历,3; 2、精通Java编程,理解IO、多线程等基础框架,熟悉JVM的原理; 3、熟练使用Linux系统,能对应用的瓶颈进行分析定位; 4、熟悉JavaEE生态体系,精通Spring、Spring Boot、Mybatis、Spring MVC等框架; 5、 理解微服务设计思想,熟悉微服务治理框架SpringCloud/Dubbo,对服务限流(Hisytrix等)诊断有一定经验; 6、熟练应用常用中间件redis、kafka等,熟悉分布式、缓存、消息等机制;
-
职位职责: 1、负责字节跳动集团数仓的平台设计、开发工作; 2、构建覆盖数据质量治理、数据资产管理、数据挖掘消费的全链路服务化方案,提升集团关键数据的质量、一致性以及利用效率; 3、落地业界领先的数据访问控制能力,保障数据访问安全合规。 职位要求: 1、计算机相关专业,深入理解计算机原理,有扎实的数据结构和算法基础; 2、熟悉使用 Java/Go/Scala/C++/Python 等至少一门语言,熟练使用MySQL/Redis/Kafka/ElasticSearch等常用存储技术,并熟悉其使用方式和实现原理; 3、能够使用 Doris/ClickHouse/Druid/Presto/HBase 等至少一种OLAP工具,并且掌握其原理; 4、优秀的设计以及编码能力、对技术有热情; 5、良好的沟通&理解能力,团队合作能力。
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
职位职责: 1、负责数仓架构设计与人群、内容、投后结案等功能模块数据开发 2、负责数据治理工作,不局限于数据稳定性、数据质量等 3、参与OLAP引擎选型,解决实时数据查询痛点问题 职位要求: 1、具备数仓建模、数据治理设计与开发经验,掌握至少一门编程语言,如python、java、golang等 2、熟悉掌握Spark/Hive/Hadoop/Flink工作原理及应用,具有海量数据处理经验优先 3、熟悉掌握Clickhouse/Doris/ES/Druid其中一种或多种OLAP存储引擎,具备使用与调优经验优先 4、对数据敏感,具备较强的业务能力,能够挖掘业务痛点并解决加分 5、对互联网广告有较强的兴趣优先,具备良好的沟通协作能力、责任心
-
美团骑行事业部在全国各个城市开展美团单车、电单车业务,提供绿色、便捷的共享出行服务,是美团出行板块重要的组成部分。我们力求为城市可持续发展提供低碳智能的解决方案,通过技术创新和硬件升级,不断优化全流程骑行体验,为低碳出行提供更好的服务。其中,美团单车旨在为城市居民提供通勤接驳服务,满足用户短途接驳出行需求;美团电单车则满足用户中短途多场景低碳出行需求。 我们有开放的工作氛围,也有充满韧劲和创造力,心系低碳出行的伙伴。加入我们,一起为用户创造更好的出行体验。 岗位职责 1、负责骑行数据体系建设,深入理解业务数据需求,协同数仓团队交付可靠数据资产,支撑业务经营数据分析; 2、制定数据工具产品策略及规划,推进数据查询及分析工具建设,提升业务用数效率; 3、持续运营数据产品,提升产品渗透率及满意度; 4、与业务、商分、技术等团队密切合作,协同推进数据产品持续有效迭代。 岗位基本需求 1、本科以上学历,7年以上互联网数据产品经验。熟悉大数据体系,对数据分析、OLAP工具、可视化任一方向有深刻理解; 2、参与搭建过数据产品,有较好的业务需求抽象和产品设计能力; 3、逻辑思维强,责任心强,良好的沟通、团队协作能力。 岗位亮点 骑行数据复杂度高,数据体系及工具纵深空间大。
-
职务描述: 1. 负责榕树业务数据仓库的开发与优化 2. 基于Hive/Flink等平台建设离线/实时数据仓库 3. 负责数据模型的设计、etl的实施,etl性能优化以及相关技术问题解决 4. 负责面向业务的OLAP,报表,数据提取工具等开发工作 职位要求: 1. 熟悉大数据相关技术:Kafka/Flink/Clickhouse/Doris/Hadoop/Hive/Flume等; 2. 熟练使用 Java , Python, Go 语言中的一种或者多种; 3. 具备数据库系统理论知识, 掌握主流数据库管理和应用, 精通SQL; 4. 了解统计以数据挖掘,机器学习以及人工智能技术; 5. 有高性能分布式平台开发经验, 有金融行业经验优先。
-
1、负责移动通信数据分析系统数据仓库的设计、开发,各业务分析主题的数据模型设计,指标整理,数据库ER建模、维度建模和业务分析专题建模; 2、负责数据挖掘专题的需求分析、业务场景建模、实验模拟、制定分析挖掘目标,数据挖掘模型的设计、开发,数据挖掘算法的研究、设计、实现、优化,结果分析并验证修改模型和算法,挖掘结果展现,知识提取和整理; 3、负责数据挖掘过程中的数据抽取、处理、OLAP分析,挖掘算法优化、模型训练和修改,结果分析和展现等相关技术工作; 4、负责将研究成果与数据分析系统应用专题整合,在业务领域推广应用,以及咨询、技术交流等工作; 1、本科及以上学历,具备一个以上数据挖掘相关项目经验; 三年以上的数据开发或数据挖掘项目经验。 2、有数据挖掘项目的开发经验,具有独立完成建模、调试、优化和展现汇报的能力; 3、有运营商行业数据仓库系统开发经验者优先; 4、精通常见常用大数据技术,例如: hdfs、hive、hbase、saprk、flink 。具备常见大数据技术的全方位的能力,包括:搭建、开发、调优等,包括在相关技术栈上进行复杂代码编写,不仅仅是Sql开发; 5、精通至少一种MPP数据库的开发与使用,例如:clickhouse、starrock、gbase、Greenplum; 5、熟练掌握Mysql、PostgreSql等常见关系型数据库开发与调优技术; 6、精通常见的Nosql 数据库,例如:redis; 7、熟练使用至少一种任务调度工具; 8、有耐心,有钻研精神,严谨,细致;具有良好的团队合作精神,善于沟通;有强烈的责任心,积极主动; 9、能深度思考各种可能业务场景、综合考虑代码的可维护性、可运维性、服务的健壮性、及应规避的风险; 10、to G 或 to 大B的从业经验优先考虑,例如:运营商行业、政府行业、金融行业、公安行业等;
-
工作职责: 1、负责实时数仓的构建; 2、负责实时指标的架构设计,开发; 3、负责对实时任务的计算作业性能,和资源优化,保障实时任务的准确性和稳定性; 4、负责实时新技术的调研工作。 工任职要求: 1、扎实的Java语言开发基础; 2、2年以上Flink实时开发经验,具备复杂场景下的实时方案设计和开发经验; 3、深入理解Flink各组件及原理,掌握Flink CDC数据同步场景; 4、熟悉Doris OLAP引擎,并有实际生产调优经验; 5、熟悉常见的大数据计算框架和技术原理,如MR,Tez,Spark,Flink; 6、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术和业务结合能力。
-
美团的使命是“帮大家吃得更好,生活更好”,公司聚焦“零售 + 科技”战略,和广大商户与各类合作伙伴一起,努力为消费者提供品质生活,推动商品零售和服务零售在需求侧和供给侧的数字化转型。 2018年9月20日,美团正式在港交所挂牌上市。美团将始终坚持以客户为中心,不断加大在科技研发方面的投入,更好承担社会责任,更多创造社会价值,与广大合作伙伴一起发展共赢。 岗位职责 1. 负责美团外卖国际化业务核心数据仓库及相关服务的研发工作,致力于数据驱动业务提升决策效率与质量; 2. 参与业务数据仓库的模型规划、SLA定义与优化、安全合规等工作; 3. 参与技术决策,制定研发规范,完成技术选型、流程设计和技术风险评估等相关工作; 4. 负责解决项目中关键问题和技术难题,线上疑难问题排查和解决,并给出合理的指导和改进建议; 岗位基本需求 1. 本科及以上学历,2年以上数据开发经验; 2. 熟悉大数据技术基本原理,包括Hadoop/Hive/Spark/Flink/OLAP引擎等,掌握数据仓库体系架构、数据建模方法、数据治理等知识; 3. 对数据价值探索充满热情,较强的业务理解和抽象能力,能快速分析和理解问题,能够将复杂的业务问题转变为清晰的数据需求; 4. 在经营、流量、履约、营销增长任一方向具备丰富的领域知识,熟练使用SQL与常见数据分析方法; 5. 做事有责任感和主动性,面对复杂业务问题,可以从技术和业务多角度推进,最终达成目标; 具备以下者优先 1. 参与过从零到一的全流程业务或者某领域的数据仓库设计与实现; 2. 主导过某核心领域数据指标体系设计与落地; 3. 充满好奇心,不自设边界; 4. 有过国际化相关从业经验; 岗位亮点 1. 能全面参与美团境外业务全球拓展的建设过程,了解境外业务全貌及参与系统架构快速演进; 2. 如果你对世界充满好奇心,在这里,你会接触到不同的国家、语言和文化,开拓国际视野,探索异域市场; 3. 如果你富有冒险精神,在这里,一个个陌生的国家等待你的开发,一个个全新的关卡等待你的挑战; 4. 如果你渴望快速成长,在这里,你可以经历新业务全球拓展的过程,不断解锁新技能,持续获得成就感;
-
职位描述 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 岗位要求: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先。
-
【核心职责】 1. 数据模型建设:处理PB级数据,设计和实施金融级离线数据仓库,包括基础数据层和应用层数据集市以及其他数据中间层建设。参与多个异构业务场景的模型设计。 2. 驱动数据平台发展:推动数据平台的创新,确保数据产品的技术需求得到满足并成功实施。 3. 数据治理:参与制定和执行数据治理策略,包括SLA治理、计算治理、存储治理和数据开发规范治理等。 4. 数仓架构设计:参与数据仓库架构设计,推动数仓规划、数据分层、数据开发规范不断发展优化。 【技能要求】 1. 经验:至少5年的数据仓库开发经验,本科及以上计算机相关专业学历。 2. 技术专长:精通SQL和数据优化技术,具备Spark等大数据处理框架的实际应用经验。 3. OLAP工具:熟练使用至少一种OLAP工具,如Doris、StarRocks或ClickHouse。 4. 数据模型:对数据模型构建和应用层开发有深入理解和丰富实践经验。 5. 大数据技术:熟悉Hadoop、Hive、Spark、Kafka、Flume、Presto、Kylin等技术栈。 6. 编程语言:精通Java、Scala或Python等至少一种编程语言优先。 7. 数据工具:有数据资产管理、全域建模、数据虚拟化、NoETL、指标管理平台、AB测试平台等工具的实施经验优先。
-
工作职责: 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 任职资格: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先
-
【后端开发工程师岗】: 职级:T5+ 工作地点:北京/上海 岗位职责: - 面向全技术团队的研发效能专职团队,在项目团队践行DevOps,持续集成及 Google EP文化,推动研发模式的升级,提炼出工程效能最佳实践。 - 负责京东研发效能相关平台及工具的设计研发工作,负责服务高可扩展性、高可用性方向的提升和优化,参与平台框架研究、设计和实现,关键技术路径可行性研究及技术选型等。 任职资格: - 计算机科学相关专业,扎实的计算机基础,良好的学习能力,缜密的逻辑思维,享受探索新技术的过程。 - 三年以上系统软件开发经验,有优秀互联网产品开发经验优先,具有全栈工程师能力,可独立开发前后端完整的系统。 - 至少精通一门开发语言(Java/C++/Python 等),并且具备快速技术迁移能力。 - 精通常用的 Web 开发框架(Spring MVC/ Spring Boot等)和工具库,并了解其中用到的设计模式。 - 熟悉主流DB、中间件(Redis/KafkaZooKeeper等)、搜索/推荐/广告、计算存储(OLAP等)和大数据(Hadoop/Flink/Spark等)等相关技术,有性能优化经验。 - 有效能工具和平台开发经验,自动化构建系统、配置管理系统、打包部署系统、监控报警平台建设经验优先考虑。 - 具有认真负责的专业素养、积极主动的工作态度、有独立分析和解决问题的能力,以及良好的学习能力和团队合作精神。
-
岗位职责 1、设计、开发和维护企业级大数据平台和解决方案,包括数据采集、数据存储、数据处理和数据分析等。 2、使用Flink等流式计算引擎,实现实时数据处理和流式分析,提供实时的业务洞察和决策支持。 3、针对OLAP需求,设计和实现数据立方体、多维数据模型和数据聚合查询,以支持复杂的联机分析处理。 4、编写高效且可扩展的大数据处理和分析代码,提高数据处理和分析的效率和质量。 5、与数据科学团队合作,开发和实现数据处理和分析的需求和解决方案。 6、进行数据模型设计和数据架构优化,提高数据存储和计算的性能和可扩展性。 7、负责数据质量和数据安全的管理和监控,确保数据的合规性和机密性。 8、研究和探索新的大数据技术和解决方案,以不断提高大数据处理和分析的效率和质量。 9、建立和维护技术文档和标准,确保大数据开发的规范和一致性。 任职要求 1、本科及以上学历,计算机科学、软件工程或相关领域。 2、3年以上大数据开发经验,熟悉大数据技术栈和工具,如Hadoop、Spark、Kafka、Hive等。 3、熟悉流式计算引擎Flink,具备在实时数据处理和流式分析方面的经验。 4、了解OLAP(联机分析处理)的概念和技术,具备数据立方体和多维数据模型的设计和开发经验。 5、熟练掌握编程语言,如Java、Python或Scala,具备良好的编码和调试能力。 6、熟悉大数据处理和分析的各种技术和工具,如数据流处理、批处理、数据仓库等。 7、具备良好的数据库和SQL技能,熟悉关系型数据库和NoSQL数据库。 8、具备良好的沟通和团队合作能力,能够与不同背景和专业的人合作,解决技术和业务问题。 9、具备较强的学习能力和自我驱动能力,热爱技术研究和创新。 10、有较好的英文阅读和写作能力,能够阅读和编写英文技术文档。 必备条件 1、在Flink和流式计算领域有深入的研究和实践经验。 2、在OLAP(联机分析处理)领域有相关项目经验。 3、有大数据架构设计和优化经验,能够提供有效的解决方案和建议。 4、具备数据挖掘和机器学习的基础知识和经验。