-
职位职责: 1、负责字节跳动各业务直播数据的汇聚与接入; 2、负责直播数据平台数据链路建设和数据开发规范建设; 3、建设数据质量体系,形成完整的数据监控和数据校验机制; 4、负责直播相关数据需求的开发,能独立设计方案、把控需求、拆解细化并实施。 职位要求: 1、熟练运用Python、Java、Scala、Go等至少一门语言,对数据结构和算法设计有较为深刻的理解; 2、熟悉MySQL/postgresql/MariaDB等至少一类数据库,熟悉常见的NoSQL存储; 3、熟悉Hive数据仓库设计,了解数据仓库模型及思想、维度建模思想; 4、丰富的大数据技术经验,熟练掌控至少2种大数据技术,包括不限于Hadoop、HBase、Spark、Kafka、Storm、Flink等; 5、具有良好服务意识与数据sence,团队意识和协作精神; 6、较强的内外沟通能力,有数仓开发经验者优先。
-
职位职责: 1、负责字节跳动相关产品线(抖音、头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟悉Kafka/Flink/HBase/Doris 等实时计算引擎的开发和使用优先; 4、有大规模实时数据平台落地经验者优先。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;
-
岗位职责: (1)参与兴业银行大数据平台湖仓一体、存算分离、流批一体等前沿技术的基础架构体系规划与研究,并推动落地实施; (2)负责兴业银行大数据平台运维保障,存储、计算等各类组件性能调优,以提升平台稳定性; (3)协助兴业银行大数据平台信创迁移与相关系统改造、适配等工作; (4)联系上下游业务需求方与应用开发团队,对接协调大数据平台使用、建设、推广相关工作。 岗位要求: (1)熟悉大数据生态体系中分布式存储、缓存、高并发等底层技术协议与原理; (2)具有海量数据计算组件(Hive、Spark),OLAP查询引擎(Clickhouse、Presto、Doris等)故障排查与优化经验,有源码阅读与调试经验优先; (3)熟练掌握Flink等主流大数据组件原理及应用,具有Hudi或Iceberg等流批一体相关组件应用经验; (4)熟悉Docker、K8s等容器化、大数据组件云原生相关技术。 工作地点:上海
-
职位描述工作内容:1、负责公司级的通用数据平台,服务全公司的产品线2、负责YARN、Hive、Spark、Flink平台维护及二次开发3、负责公司自研调度系统维护以及接口开发4、负责公司大数据集群、执行引擎、平台的优化和运维工作职位要求:1、熟悉一种以上开源大数据工具框架, 包括担不限于YARN、Mapreduce、Hive、Spark、Flink、Presto等;2、强悍的编码能力,生产环境快速定位问题能力,对新技术有强烈的学习热情;3、三年以上java、大数据维护开发经验,有spark streaming,flink实时任务开发经验者优先考虑。4、做事严谨踏实,责任心强,条理清楚,善于学习总结,有良好的团队合作精神和沟通协调能力。
-
岗位职责: 1. 负责跟进数据平台、计量引擎的规划、实施、监控和交付,确保项目符合IFRS17标准的要求; 2. 根据业务需求设计数据平台架构,确保数据的准确性、完整性和时效性。 3. 与业务团队紧密合作,准确理解和分析IFRS17标准对数据处理和报告的具体要求。 4. 与技术团队和供应商沟通,确保技术方案的实施符合项目要求。 5. 监控项目进度,管理项目预算和资源,处理项目中出现的技术或资源问题。 6. 协调内部和外部资源,监控项目里程碑和关键绩效指标。 7.定期组织项目会议,更新进度,协调解决方案的调整和优化。 任职资格: 1. 本科及以上学历,计算机科学、软件工程、信息技术、金融、保险等相关专业; 2. 至少具有3年以上数据平台搭建或项目管理经验,有在金融或保险行业从事过相关工作的优先; 3. 具备良好的沟通能力和团队合作精神,能够有效协调各方利益,推动项目进展具备较强的学习能力、分析能力和解决问题的能力; 4. 掌握数据库技术,如SQL,以及大数据技术,如Hadoop或Spark。 5. 熟练使用项目管理软件,如Microsoft Project或类似工具; 6. 具有直接或相关的IFRS17项目经验或对计量标准有深入理解者优先; 7. 英语流利,具备出色的听说能力者优先; 8. 持有PMP类似项目管理专业认证者优先。 9.具有精算工作经验者优先。
-
工作职责: 1、负责业务需求沟通和管理工作,能够判断需求真实性,紧急程度和业务价值; 2、数据分析产品管理和产品优化等工作,负责业务使用数据分析产品的可用性; 3、数据仓库数据开发类需求管理和开发进度管理; 4、管理数据服务类产品需求和交付工作,评估和迭代数据服务产品方案,通过产品化提升数据服务生产效率和准确率; 5、负责数据报表,产品,服务等日常运营与支持工作,为一个或多个业务条线服务,建立数据与业务良好的沟通桥梁; 任职要求: 1、**本科及以上学历,5年以上数据分析或者数据产品经验; 2、对数据敏感,能快速理解业务,具有需求管理全流程的经验; 3、熟悉BI产品,例如QuickBI,帆软,具有类似产品管理工作经验; 4、熟悉数据服务产品工作,以及用户的使用方式; 5、具有良好的沟通表达和团队合作意识。
-
工作职责: 1、负责业务需求沟通和管理工作,能够判断需求真实性,紧急程度和业务价值; 2、数据分析产品管理和产品优化等工作,负责业务使用数据分析产品的可用性; 3、数据仓库数据开发类需求管理和开发进度管理; 4、管理数据服务类产品需求和交付工作,评估和迭代数据服务产品方案,通过产品化提升数据服务生产效率和准确率; 5、负责数据报表,产品,服务等日常运营与支持工作,为一个或多个业务条线服务,建立数据与业务良好的沟通桥梁; 任职要求: 1、**本科及以上学历,5年以上数据分析或者数据产品经验; 2、对数据敏感,能快速理解业务,具有需求管理全流程的经验; 3、熟悉BI产品或者埋点产品,例如QuickBI,神策、帆软,具有类似产品管理工作经验; 4、熟悉数据服务产品工作,以及用户的使用方式; 5、具有良好的沟通表达和团队合作意识。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
一、职位描述 1、对指定的多个网站进行网页抓取、数据提取;负责网络数据抓取规划、清洗以及汇总的开发工作; 2、负责特殊网页采集任务的分析及采集方案设计; 3、参与爬虫架构设计和研发,满足产品中数据抓取的要求; 4、参与爬虫核心算法和策略优化研究; 5、抓取调度和策略优化,实时监控爬虫的进度和警报反馈; 6、爬虫核心系统, 数据平台的研发维护。 二、职位要求 1、 本科及以上学历,计算机相关专业;3年以上开发经验,2年以上Hadoop相关工作经验; 2、具有数据挖掘、信息检索、机器学习开发经验; 3、精通HTML语言,熟悉JS,Ajax,熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具; 4、精通网页抓取原理及技术,从结构化的和非结构化的数据中获取信息; 5、熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL/R语言 等); 6、熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等); 7、精通网络编程,熟悉HTTP传输协议,能模拟浏览器操作爬虫; 8、有丰富Java /Python开发经验者优先;熟悉MySQL、Oracle及有集群数据库开发经验者优先。 9、具备web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取的经验。以解决技术难题为乐,对程序完美有偏执追求;具有团队精神,有想法,敢于挑战自我。
-
职位描述 1、负责数据中台-商业化各个业务线数据仓库建设,构建商业化垂直数据集市; 2、定义并开发业务核心指标数据,负责垂直业务数据建模,如用户画像; 3、根据具体问题,设计并实现合适的可视化展示,构建数据持续观测平台; 4、参与数据平台的搭建,优化数据处理流程具体工作; 5、数据收集,反作弊数据仓库,用户数据仓库,UGC数据仓库,审核数据仓库的研发; 6、A/B测试实时ETL研发,转化漏斗分析平台研发。 任职要求 1、有Hive,Kafka,Spark,Storm,Hbase,Flink等两种以上两年以上使用经验; 2、熟悉数据仓库建设方法和ETL相关技术,对于数据的设计有自己的思考,具备优秀的数学思维和建模思维; 3、熟练使用SQL,对类SQL有过优化经验,对数据倾斜有深度的理解。了解特征工程常用方法; 4、具备扎实的编程功底,很强的学习、分析和解决问题能力,良好的团队意识和协作精神,有较强的内外沟通能力。
-
职位描述 1、建设全站的基础数据能力,提供丰富、稳定的短视频社区公共基础数据,探索更多数据能力的增量价值; 2、通过业务数据需求,提供数据采集埋点方案,跟进埋点全流程,交付结果,推进埋点质量相关建设; 3、各类数据专题体系(如房产、快聘等业务)的建设,通过数据+算法+产品,赋能业务,提供全链路、可分析、可复用的数据能力,提供更直观、更具分析指导性的产品化能力; 4、建设公司层面的核心数据资产,与业务场景深度结合,为社区服务提供数据服务化、数据业务化的数据&产品解决方案; 5、建设全站数据治理和管理体系,结合业务+元数据+技术,保障公司各个业务服务的数据质量和产出稳定。 任职要求 1、较为丰富的数据仓库及数据平台架构经验,期望通过对业务的深入理解,进行数据仓库、数据体系和数据价值的建设和优化; 2、有从事分布式数据存储与计算平台应用开发经验,熟悉Hive,Kafka,Spark,Storm,Hbase,Flink 等相关技术并有相关开发经验; 3、有系统化的思维和工程化的能力,有工程化落地的经验尤佳; 4、有较丰富的应用算法开发经验,对机器学习和AI有一定的了解。
-
具备5年以上JAVA开发实际工作经验,计算机专业毕业,基础扎实; 熟悉TCP、UDP等协议通信过程,使用netty开发过自定义协议 熟悉MySQL、InfluxDB、Hadoop等数据库存储,熟练使用Maven、Git、IDEA进行开发; 熟悉分布式、RPC、缓存、消息队列、搜索等开源组件,如Zookeeper、Redis、RocketMQ、Kafka、ES等; 能够解决系统的高并发访问、海量数据处理等各种技术问题,不断进行系统建设及架构升级; 责任心强,工作积极,能主动学习,适应一定项目压力; 有数据平台或者物联网平台开发经验者优先。