-
if (your_passions.includes('BigData')) { switch(your_stacks) { case 'Java': case 'Scala': case 'Python': console.log('Join AfterShip'); break; } } 岗位职责 1、负责 OLAP 引擎(如 ClickHouse、Doris 等)的调研、性能优化、Bug 修复及稳定性保障,推动相关配套工具和系统的建设; 2、深入理解 CDP 和指标平台的数据应用场景,推动客户数据整合、用户画像构建、实时指标计算等核心功能在 OLAP 引擎中的高效落地,确保数据 SLA; 3、负责数据服务应用技术架构的演进,构建统一的查询引擎层和数据服务平台,支持多业务场景的高效数据查询与分析; 4、与数据产品经理、分析师、业务团队紧密合作,理解业务需求并提供技术解决方案,推动数据驱动的业务决策。 岗位要求 1、本科及以上学历,计算机相关专业毕业,三年以上数据开发和数据应用工程架构建设经验,英语读写熟练,有 CDP 或指标平台领域有实际项目经验者优先; 2、深入了解 ClickHouse、Doris、StarRocks 等 OLAP 引擎中的至少一种,具备查询 SQL 调优和源码分析能力,能够解决性能瓶颈和复杂技术问题; 3、具备数据应用工程架构设计与实施经验,能够设计高可用、高性能的数据服务平台,支持客户数据整合、用户画像构建、实时指标计算等核心场景; 4、具备大规模数据应用架构设计经验(如分布式计算、实时数据处理、数据湖仓一体)者优先; 5、熟悉 Apache Calcite、Antlr4 等 SQL 解析与优化框架,有相关实践经验者优先。 加分项 1、对 Headlesss BI / CDP 有一定的了解且有实践应用经验; 2、向社区贡献过 patch 者优先。 为什么加入我们 1、朝阳行业:国际电商 SaaS 服务赛道,国际一线投资机构加持; 2、稳健发展:团队稳健扩张,业务规模及营收每年持续稳健增长; 3、多元文化:团队来自全球 20 多个不同城市,国际化视角、扁平化管理; 4、极客氛围:拥抱开源技术,实践敏捷开发,崇尚通过工具和自动化来解决问题; 5、特色福利:学习基金、 一对一帮带、内部商城、提供 MacBook 及可升降办公桌。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
职位描述: 1.本科学历,学信可查 2.六年以上工作经验 3.熟悉flink、spark、hive 4.有银行经验为加分项
-
岗位职责: 1. 参与公司分布式实时计算引擎的开发设计工作,满足毫秒级延迟、百万级吞吐的处理要求。 2. 参与实时计算管理平台的开发设计工作,为公司提供统一的实时应用开发管理平台和服务,提升应用开发的效率,降低运维成本。 3. 参与公司核心实时业务系统的架构设计,包括实时推荐/实时报表/实时数据交换等核心业务。 任职资格 1.计算机相关专业硕士,3年以上大数据开发相关经关经验 2.要求熟悉Flink/Spark等分布式处理引擎,熟练使用kafka/rocketmq等消息中间件。 3. 精通java/scala等编程语言,精通数据结构和算法。 4. 对技术有热情,通过技术和团队合作来解决业务上的挑战。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
岗位职责: 1.负责电商供应链数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商供应链数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商供应链数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营; 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.3年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.掌握实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先。
-
岗位职责 1、实时/离线数据湖内核功能研发以及性能优化,包括数据湖与hive\spark\flink的集成,索引功能开发,upsert功能开发等; 2、负责数据湖技术在公司内部以及外部项目的落地; 3、参与公司大数据平台建设。 岗位要求 1、本科及以上学历,计算机相关专业,3年以上相关经验; 2、熟悉Java或scala,熟悉Linux操作系统; 3、必备技能:Hive、MR(Java)、Flink、Spark;对大数据处理(Hadoop)、数据仓库结构有较深刻的认知; 4、工作态度端正,有较强的责任心及执行力,紧急工作能够快速响应; 5、有开源数据湖相关经验优先。 PS:公司预估九月初搬家至通州区北运河西地铁站附近,请确认好位置是否合适
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
岗位职责: 1. 负责到店平台数据领域的质量建设工作,包括但不限于数据生产加工及数据平台、数据产品的质量保障方案制定及落地。 2. 通过建设数据可测性、全链路追踪、数据监控体系等能力,保障数据质量。 3. 参与数据应用的效果评估体系建设,如:算法策略的效果评估等,对数据应用的最终业务效果和质量负责。 4. 参与建设到店平台数据领域的研发交付体系,从测试环境、可测试性、测试工具等方面,提供稳定高效的测试能力和测试基建。 岗位基本要求: 1. 计算机或相关专业本科以上学历,计算机技术基础扎实,编程能力过关。 2. 两年以上的大数据测试经验,熟悉数据算法研发测试流程。 3. 熟悉Hadoop/Hive/Spark/Flink等大数据生态相关技术,在数据仓库、数据平台、数据挖掘领域有一定知识积累。 4. 具备较强的逻辑思维与表达能力,善于沟通协作,学习能力强,具有良好的团队合作精神。
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;
-
岗位职责: 1、负责数据库相关工具产品的开发和维护; 2、负责所开发模块的单元测试及回归测试; 3、解决产品开发中的关键技术问题,并具有一定的新技术探索能力; 4、负责产品相关文档的编写; 5、负责对产品的实施及售后工作提供必要的技术支持。 任职资格: 1、3年及以上 JAVA 语言开发经验; 2、对io、多线程、状态机、流水线等基础有深入理解 3、熟悉 SWT、AWT 等 C/S 技术; 4、熟悉 SpringBoot、VUE 等 B/S 开发技术 5、熟悉 MySQL, Oracle, PostgreSQL,SQL Server 等数据库; 6、熟悉 ShardingSphere,Druid 中关于SQL解析的代码逻辑; 7、JAVA基本功扎实,具有良好的代码编写风格; 8、沟通能力强;可适应加班及出差。