-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
职位概述: 1.负责气象算法研究,To C气象产品研发,To B气象服务定制化算法开发。 2.负责尖端气象算法的调研、应用。 3.负责各类气象数据的处理、分析、存储、应用。 4.协助气象服务系统的开发,应用。 任职要求: 1.气象相关专业毕业,具有良好的气象知识基础。1年以上气象技术开发经验者,优先录用; 2.擅长使用Python进行算法开发,精通pandas、numpy、matplotlib等常用库,熟练使用Python进行数据处理、算法编程、气象画图等; 3.对机器学习及深度学习知识有一定的了解,有BP神经网络、SVM、CNN、RNN、LSTM等算法使用经验; 4.对气象卫星、雷达数据熟悉,了解雷达应用、质量控制等算法原理,并从事过相关工作者优先录用。
-
职位职责: 1、负责公司级的通用数据平台和分析型产品,服务于今日头条全公司的数十个用户产品线; 2、面向PB级超大规模数据问题,每天处理千亿增量的用户行为数据; 3、为大数据的全生命周期提供服务,覆盖数据产生,传输,建模,统计分析,实验评估,可视化的全流程; 4、构建设计良好的数据流、数据仓库、调度系统、查询引擎,数据服务、分析系统、流程规范,数据工具/产品,降低数据的使用门槛,保证系统稳定高效运行,以实现数据的最大价值。 职位要求: 1、熟悉多项大数据处理/分析相关的工具/框架,e.g. Hadoop, Mapreduce, Hive, Storm, Spark, kylin,scribe, kafka, hbase, canal,sqoop etc; 2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情; 3、优秀的理解沟通能力,能快速理解业务背景,对数据敏感,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值,有web应用开发能力者优先。
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;
-
职位概述: 1.负责气象大模型设计、训练、微调、推理等工作; 2.负责各类气象数据的处理、分析、存储、应用; 3.负责尖端气象AI算法的调研、应用; 4.协助气象服务系统的开发,应用。 任职要求: 1.气象/计算机/数学/物理相关专业毕业,2年以上气象从业经验,熟悉气象大模型原理且具备实操能力; 2.擅长使用Python进行算法开发,精通基于Pytorch的各类人工智能算法开发; 3.熟悉气象行业数据体系,具备处理气象领域各类数据的经验和能力; 4.具备英文文献阅读能力,英语沟通能力; 5.具备AI算子开发能力,有国产GPU使用经验(华为昇腾、海光DCU等)者优先录用。 6.有气象大模型研发经验者优先录用。
-
主要职责: 1、根据业务需求,负责数据集成系统的功能开发,同时确保系统高性能、高可用及可扩展性。 2、负责基于Java的后端服务开发,编写高质量、高效能、易维护的代码,并遵循良好的编程规范。 3、对现有集成平台进行维护与升级,解决线上问题,对复杂技术问题需要提供解决方案。 4、与产品经理、数仓开发、前端、测试等团队紧密合作,确保项目按时交付并达到预期效果。 任职要求: 1、计算机相关专业本科及以上学历,4-8年Java开发经验,有大数据中台开发经验者优先。 2、精通Java编程语言,熟悉Spring Boot、Spring Cloud等主流Java开源框架,有微服务架构设计和实践经验。 3、对于关系型数据库(如MySQL)及NoSQL(如MongoDB、Redis)有理解和实战经验。 4、熟悉分布式系统的设计原理和常用中间件(如Kafka、Zookeeper、RocketMQ等),能够进行性能调优。 5、具备良好的分析问题和解决问题的能力,能独立解决复杂的功能或性能问题。 6、具备优秀的团队协作和沟通能力,能够配合团队完成高质量的工作成果。
-
岗位职责: 1、负责公司大数据平台及应用平台的设计、开发、环境搭建、调优及故障诊断; 2、负责公司大数据计算组件平台级支持服务,以及大数据计算组件的研发和性能优化工作; 3、跟进相关计算组件社区最新动态,在确保平台稳定运行的同时升级新特性; 能力要求: 本科及以上学历,计算机相关专业,3年及以上大数据平台研发经验; 熟悉操作系统、计算机网络、分布式系统原理、Java后端程序设计; 熟悉大数据技术栈,熟悉HDFS、Kafka、Hive、HBase、Flink、Yarn等多种组件和技术,有一定的系统性能优化及故障排除能力; 有Owner精神,善于沟通,主动性和责任心强,对数据敏感,逻辑性强,有良好的抗压能力,有良好的团队合作精神; 具备Spark,Flink,Presto至少一种源码分析经验或者开源社区有代码贡献者优先;
-
职位描述: (1)负责大数据平台的维护与稳定性建设; (2)负责集团大数据平台的运维工作(安装,部署,扩容,迁移等); (3)负责解决大数据领域出现的技术问题和故障,全面分析,定位根因,并给出解决方案; (4)根据大数据业务发展,引入新组件或新技术满足数据存储和计算的需求。 职位要求: (1)教育程度: 本科毕业3年以上,计算机,信息工程,数学等相关专业毕业; (2)相关经验: 具有3年以上大数据平台搭建与维护相关经验; (3)专业能力: 1、熟悉Hadoop大数据生态圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Spark/Zookeeper/Flink等 2、具备安装、部署、维护hadoop集群及相关组件的工作经验,有生产环境实施变更和维护管理的经验 3、掌握至少有一种开发语言(Shell、Java、GO、C++等) 4、具备排查和解决技术难题和故障的能力,有Hadoop其中一个组件源码阅读或维护的经验优先 5、精通服务器监控(Prometheus,zabbix等)、日志分析,熟悉运维自动化 6、熟悉Linux软硬件环境、系统管理和优化,熟练部署各种基础组件和服务 7、具有很好的沟通表达能力,勤奋好学,具有很好的团队合作意识,喜欢技术研究
-
**招聘职位:大数据研发工程师(上海、成都、深圳)** **岗位职责:** 1. 负责多种云产品的内核开发与维护,解决客户使用过程中碰到的各种问题。 2. 参与大数据平台的部署、运维和优化,保障平台的高可用性、稳定性和性能; 3. 制定并完善大数据平台监控、报警及自动化运维工具,确保系统健康; **任职要求:** 1. **计算机相关专业本科及以上学历**,具有扎实的计算机基础,熟悉数据结构和算法; 2. 对至少一种主流大数据框架(如 Spark、Flink、Hive、Hadoop、Iceberg、Paimon 等)的源码有深入理解,能够分析并优化其内部实现; 3. 具备大数据平台 SRE 能力,熟悉容器化技术(如 Docker、Kubernetes),能够实现大数据服务的容器化部署和管理; 4. 优秀的问题分析和解决能力,善于快速定位并解决复杂系统问题; 5. 加分项:有开源项目贡献经验 **我们提供:** - 有竞争力的薪资和福利; - 广阔的技术发展空间和成长机会; - 开放、创新的团队氛围;
-
根据公司下发的产品研发任务和技术发展目标,负责中尺度气象模式、海洋模式、模式集合的搭建、持续优化,包括但不仅限于模式输入数据的收集、初始场处理、参数化方案、偏差订正、降尺度算法等领域代码实现、检验和不断优化. 岗位要求: 1、有相关技术研发经验或非常优秀的大气科学类应届硕士、博士; 2、熟悉中尺度气象模式(WRF)/海洋模式及相关工具等的安装、调试、参数配置前处理、求解、后处理各算法有较深了解;熟悉超算/云计算等计算环境下Shell编写,有具体WRF相关项目算法开发经验优先; 3、有较强的逻辑思维能力,乐于钻研,具有良好的团队合作精神及很强的沟通能力及抗压能力。英语水平优良,能阅读英文文献;
-
岗位职责: 1.负责大数据平台的设计与应用功能开发; 2.基于业务诉求,主导系统设计架构工作,负责实时计算系统的研发工作; 3.结合现状,推动业务平台技术迭代,提升系统性能; 4.思路清晰,可快速响应数据处理的需求,评估并给出合理的解决方案,并采用合理的方式处理需求; 5.积极主动,能够与团队成员进行有效沟通,并完成数据处理结果的核对与对接; 6.负责前沿或关键技术的研究,完成服务性能优化; 7.完成上级交办的工作或任务。 岗位要求: 1.****及以上,计算机软件类专业对口,本岗位1年及以上工作经验; 2.精通大数据Hadoop体系的相关技术:Spark、Hive、HВase, Spark Streaming / Flink、Redis,Kafka ; 3.熟悉 JAVA/Scala编程,具备良好的编程能力; 4.熟悉 Linux 操作系统, Shell 编程等; 5.了解数据仓库建模,熟悉etl设计开发; 6.熟悉知识图谱和向量数据库。
-
岗位职责: 1、负责公司大数据平台(采集/加工/调度等)建设,承担相关服务、平台的研发、集成和运维工作,工作中主要使用python; 2、保障应用系统稳定可靠,熟练运用合适技术对复杂场景做出合理技术设计,保障和提升数据平台相关系统的性能和稳定性; 3、工作范围涉及包括但不限于:分布式任务调度系统,数据采集系统,数据加工处理平台,数据应用服务等领域。 任职要求: 1、本科及以上学历,具有2年以上大数据平台应用系统开发及运维经验; 2、拥有扎实的计算机基础和代码能力,具备良好的编码习惯,有较强的问题处理能力; 3、熟悉常见大数据处理/分析相关的工具/框架,如Hive、Spark、Presto、Kafka、Clickhouse、Superset等; 4、具备良好的理解能力,能快速理解业务背景,具有良好的团队沟通与协作能力。
-
工作职责: 1. 负责大数据消息服务如 Kafka 集群优化,运维、部署、管理; 1. 参与大数据基础服务如 Hadoop 、Spark 等集群运维、部署、管理与优化; 2. 负责大数据平台服务器的维护与管理,保证各集群服务器正常运行; 职位要求: 1. 熟悉 Java、Scala、Go 等一门主流语言,熟悉并发和网络编程,有良好的数据结构和算法功底; 2. 熟悉消息系统的原理和关键技术,熟悉 Kafka/Pulsar/RocketMQ 等消息产品的原理和实现,有开源社区贡献者优先; 3. 有分布式存储的使用和研发经验者优先; 4. 对云原生相关技术有一定的了解; 5. 了解大数据相关技术,如Hadoop,Spark,Hive,Flink等,有开发或者运维经验者优先; 6. 熟悉Linux常用命令; 7. 有技术热情和较强的学习能力,以及良好的沟通能力、抗压能力和团队协作能力;