-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: 1、建设机器学习/深度学习平台,根据实际业务场景和需求,优化平台能力; 2、建设灵活的AI开发组件,支持业务打造定制化AI平台及业务。 岗位要求: 1、计算机及相关专业本科及以上学历,具有扎实的代码功底,熟悉常用的算法和数据结构; 2、精通Java语言,熟悉了解Python语言,具有良好的编程习惯,熟悉多线程编程,内存管理,设计模式和Linux开发环境; 3、熟悉Hadoop/Hive/Spark/Flink等计算框架,熟悉Docker技术及Kubernetes容器调度系统; 4、熟悉业界主流的机器学习平台,有机器学习平台研发经验者优先; 5、有Tensorflow/PyTorch等机器学习框架使用经验者优先; 6、有AutoML、自动特征工程系统设计经验者优先; 7、良好的团队合作和协调沟通能力,学习能力强,自我驱动力强,紧跟机器学习的发展动态。
-
职位职责: 1、负责懂车帝推荐架构的持续改进,设计和实现合理的离线架构; 2、负责懂车帝策略相关的离线数据流、离线召回、数据分析、资源调优等任务设计和开发; 3、构建完善的 debug 能力体系,提升问题分析与追查的效率; 4、学界及业界的新技术预研与落地。 职位要求: 1、熟悉 Flink、Spark Streaming、Storm 等主流大数据计算系统原理; 2、具有敏锐的数据分析和洞察能力,熟悉常见的大数据开发工具(Spark/Hive/Hadoop等); 3、精通 Java / Scala / python/ sql 等开发语言; 4、有优秀的设计和编码思维,对解决具有挑战性问题充满激情。
-
任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
-
工作职责: 1、负责贝壳Hermes实时计算平台的开发和维护 2、参与Flink等实时技术调研及框架源码改造开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位职责: 1.负责大数据项目的开发、维护等工作,完成大数据相关的数据架构规划、数据建模及大数据产品研发工作; 2.负责各种埋点数据与业务数据的采集、清洗、整合和大数据的分布式存储、ETL加工; 3.负责大数据类产品的系统分析与架构设计,配合产品经理完成产品的快速研发与交付; 4.负责实时数仓、离线数仓的建设与演进,实时业务开发、BI系统、报表平台、大数据平台等的建设。 岗位要求: 1.本科及以上学历, 1年及以上工作经验,具备大数据开发工作经验,熟悉Hadoop/Spark/Flink等分布式计算平台。 2.扎实可靠的编程能力,精通Python/C/C++/Go/Java中的至少一门编程语言; 3.具备良好的数据结构、算法、操作系统、数据库与计算机网络基础; 4.具备良好的分析解决问题能力,能独立承担任务,有系统进度把控能力。 责任心强,良好的对外沟通和团队协作能力,主动好学。
-
工作职责: 1、协助现场项目经理进行电力数据加工聚合、简单分析 2、协助总部研发进行数据导出 3、现场服务器运维 4、帆软报表开发 任职资格: 1、电子、计算机相关专业毕业。 2、掌握Python编程语言,进行过简单的Python数据分析(相关性、回归等); 3、有linux相关经验,掌握linux操作 4、有SQL相关经验,会使用MySQL数据库; 5、有Hadoop、Elasticsearch、Spark等相关技术经验;
-
岗位职责: 1、对接并梳理业务需求,开发数据仓库模型,设计相关主题的事实表和维度表等; 2、负责数据仓库开发相关技术文档、技术标准、编码规范的制定; 3、负责数据治理、数据资产建设、模型集市建设等,并基于大数据平台完成各类统计和开发任务。 任职要求: 1、具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验; 2、精通SQL编程,熟悉Shell; 3、熟悉数据仓库模型和数据中台模型设计方法论,有实际搭建公司层级数仓的经验,有数据仓库性能优化的实战经验; 4、熟悉Flink或者阿里Blink框架,并有实际实时数仓开发经验; 5、具有扎实的数据库知识,熟悉关系型数据库; 6、需求理解能力强,拥有良好的分析和技术能力,并具备解决问题的能力; 7、有使用Hadoop生态有关大数据组件(Hive, Hbase, Spark等)经验,了解相关技术原理的优先; 8、有互联网公司或者保险金融相关行业数仓建设经验优先; 9、熟悉阿里云数据中台Dataworks、MaxCompute等产品,并有实际开发经验者优先。