-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: 1. 负责到店平台数据领域的质量建设工作,包括但不限于数据生产加工及数据平台、数据产品的质量保障方案制定及落地。 2. 通过建设数据可测性、全链路追踪、数据监控体系等能力,保障数据质量。 3. 参与数据应用的效果评估体系建设,如:算法策略的效果评估等,对数据应用的最终业务效果和质量负责。 4. 参与建设到店平台数据领域的研发交付体系,从测试环境、可测试性、测试工具等方面,提供稳定高效的测试能力和测试基建。 岗位基本要求: 1. 计算机或相关专业本科以上学历,计算机技术基础扎实,编程能力过关。 2. 两年以上的大数据测试经验,熟悉数据算法研发测试流程。 3. 熟悉Hadoop/Hive/Spark/Flink等大数据生态相关技术,在数据仓库、数据平台、数据挖掘领域有一定知识积累。 4. 具备较强的逻辑思维与表达能力,善于沟通协作,学习能力强,具有良好的团队合作精神。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
1. 设计、开发和持续优化广告投放算法,以显著提高广告精准度和转化效率。 2. 紧跟市场趋势和业务需求,对广告算法进行定期更新和改进。 3. 主导广告数据的深度分析和挖掘工作,确保算法优化的数据驱动。 4. 开发适应不同场景的智能出价产品,满足广告主的多元化需求。 任职要求: 1. 3年及以上算法开发经验,优秀应届毕业生亦可。计算机科学、数学、统计学或相关专业背景; 2. 熟练使用Hadoop、Spark、Pandas等数据处理工具,有AWS或GCP平台的大数据处理经验者优先; 3. 精通C++/Python编程,具备扎实的算法工程化能力; 4. 熟练使用TensorFlow/PyTorch等机器学习框架,有搜索/推荐/广告算法模型开发经验者优先; 5. 具备出色的学习能力、分析问题和解决问题的能力,优秀的团队合作精神,具有创新意识和挑战精神,逻辑思维清晰,责任心强。
-
岗位职责: 1.针对海量数据开发包括不局限于金融行业财富业务营销响应、流失预警等营销模型; 2.跟进实施以量化分析为基础的咨询项目,项目业务围绕财富金融业务领域,实施内容包括不局限于流程设计、业务框架设计、特征设计、模型开发、策略制定、实施部署等; 3.熟悉公司所提供的解决方案,配合商务对机构进行方案介绍与答疑;通过量化分析工具为合作机构提供决策分析报告,配合商务有效推动机构合作与落地应用; 4.对海量内部底层数据进行清洗和深度挖掘,探索有效稳定的维度/变量/模型/标签以形成标准化的产品; 任职要求: 1.本科及以上学历,211/985院校毕业优先,数学、统计学、计算机等相关专业优先; 2.具备互联网/财富营销/金融科技机构模型开发/算法/量化策略相关实习经验; 3.熟练运用Python/R进行数据分析或建模,熟练掌握数据库操作(如SQL语句); 4.了解 LR/RF/XGB/LGBM/FM 等机器学习算法的原理及其应用; 5.了解 Hadoop、Hive、Spark 的常用功能; 6.了解推荐算法中召回、排序阶段的常用模型和策略; 7.有金融行业背景、对金融行业财富营销业务有深刻理解者优先; 8.表达清晰,逻辑严谨,对数据敏感,敢于创新,善于发现、探索并解决问题; 9.具备较强独立思考能力、学习能力、自我驱动力、责任心及抗压能力;