-
[基本要求] 热爱编程,熟悉Python,可熟练使用Python进行数据分析和系统开发; 熟悉Django/FastAPI/Tornado/Flask等至少一种Web开发框架, 具备独立开发Web系统的能力; 熟练掌握SQL,有MySQL/PostgreSQL等至少一种数据库的实际使用经验; 熟悉大数据相关技术方法,具有大数据存储框架(如elasticsearch、tidb、ceph等)使用经验; 在校成绩优秀或深刻理解计算机系统,有良好的数据结构和算法基础的可适当放宽要求。 有系统架构经验优先; [加分项] 硕士研究生或211/985本科 有生物信息背景,了解生物大数据存储、计算、应用等相关技术 熟悉Linux系统,掌握常用Linux命令; 了解C/C++、GoLang、Java等其他编程语言 了解Javascript、Vue等前端开发技术; 学习能力强,主动性高,有较好的沟通能力和团队意识; 较强的逻辑思维能力,具有良好的开发工作习惯; 五险一金全额缴纳,周末双休,公司环境好,有食堂 岗位福利:五一 十一 春节均有福利发放,平时活动活参与有奖
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
高级组长(需要管理经验): 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。 高级骨干: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
一、职位职责: 1、全面负责用户&商品画像和标签平台的架构设计与核心研发,确保平台的高可用性和扩展性; 2、深入理解公司各重点产品及业务需求,通过数据挖掘和分析,发掘潜在价值点,制定画像平台的长期发展策略,拓展画像在多场景下的应用; 3、领导画像产品的持续优化,推动画像标签应用平台的建设和技术创新,确保其在市场中的竞争力和领先性; 4、与跨部门团队紧密合作,推动用户画像技术在公司内部和外部生态系统中的推广和应用,提升公司整体数据应用能力。 二、职位要求: 1、精通Java语言及其生态系统,具备5年以上相关开发经验,能够在复杂场景下提供高效、稳定的解决方案; 2、深刻理解分布式系统、缓存、消息队列等技术原理,具备大规模分布式系统的设计和优化经验; 3、计算机基础扎实,对技术有极高的热情,具备解决复杂技术难题的能力,并愿意持续学习和应用新技术,应对业务挑战; 4、深入掌握大数据常用开源框架,如Hadoop、HBase、Flink、Spark、ClickHouse、Doris、Flink等,具备大规模数据处理的实战经验; 5、具备丰富的用户画像、数据应用开发经验,能够从业务角度出发,设计和实施数据驱动的解决方案; 6、有出色的领导力和团队合作能力,能够带领团队共同实现目标,并推动团队的技术成长和发展。
-
职位职责: 1、负责大数据方向相关数据内容,数据产品的测试和质量保障; 2、根据需求文档、设计文档分析测试点、确定测试范围、制定测试方案和策略、编写测试计划及用例; 3、根据业务逻辑编写测试SQL脚本,独立完成项目中数据指标,服务的测试,保证数据质量和稳定性; 4、负责规划、设计、实施监控每日数据产品的质量情况,提前检测发现数据的异常; 5、编写自动化测试脚本提升测试效率。 职位要求: 1、计算机及软件相关专业本科以上学历; 2、3年以上大数据相关平台、产品、应用测试经验, 有Hadoop、hbsae、Oracle等大规模数据监控,处理测试经验者优先; 3、精通一门脚本语言,Python 或 shell,解决复杂问题和编写自动测试工具和系统的能力; 4、熟悉常见软件测试流程、方法、系统,有敏捷团队经验者尤佳; 5、参与测试效果评估和软件质量核查,通过测试相关流程、策略、方法和工具等创新,提升测试的质量和效率; 6、对互联网质量保证领域有强烈的兴趣,有互联网或数据测试开发经验优先; 7、有性能、安全、白盒测试等专业测试领域经验者优先,能主动进行技术钻研; 8、性格开朗乐观,积极主动,善于沟通,具有很强团队协作能力。
-
职位职责: 团队介绍:集团信息系统部(Corporate Information System)负责字节跳动信息系统建设。通过构建领先的信息系统,助力公司业务和组织的长期高效经营与发展。与此同时,在安全、隐私、合规层面持续治理,为公司的稳健发展保驾护航。字节跳动的员工分布在全球超过120个城市,业务模式复杂,用户规模大。到现在,集团信息系统部已经覆盖人事、财务、法务、采购、审批、职场等多个领域,隐私安全工作同步开展,AIGC创新孵化也在逐步落地实现。 1、负责公司统一数据引擎大数据方向的架构设计和技术研发工作; 2、负责设计安全高效的大数据架构,推动数仓、BI团队搭建高效的数据流程与服务栈; 3、深入了解字节跳动各业务线的数据业务,发现并总结数据研发、数据质量、数据安全等方面数据问题,合理抽象方案,推动相关业务实施落地。 职位要求: 1、计算机基础知识扎实,具备良好的工程和算法能力; 2、有大数据体系工作经验,对数仓或BI体系的建设流程和分工有清晰的认识; 3、熟悉大数据相关工具/框架经验者优先,如Hadoop、Hive、Spark、Kafka、Flink、Clickhouse等; 4、有分布式、高性能系统研发经验者优先;对系统稳定性建设有实践经验者优先;熟悉多种存储系统者优先; 5、对技术有热情,具备良好的问题分析和解决能力,喜欢思考问题深层次的原因,并善于归纳和总结。
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
岗位职责: 1.承担建设基于Hadoop/Spark生态的大数据离线/实时处理平台; 2.参与业务数据.生产日志的抽取.转储.检索等相关工作; 3.跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。 任职要求: 1.3年以上计算机.统计.数学等相关本科或以上学历; 2.掌握Hadoop.HBae.Hive.Kafka.Flume.Spark等大数据技术; 3.掌握数据挖掘,python,机器学习经验者优先; 4.有较强的学习能力,勤奋踏实,责任心强,有较强的沟通协调能力,有一定创新能力;
-
岗位描述 美团的使命是“帮大家吃得更好,生活更好”,公司聚焦“零售 + 科技”战略,和广大商户与各类合作伙伴一起,努力为消费者提供品质生活,推动商品零售和服务零售在需求侧和供给侧的数字化转型。 2018年9月20日,美团正式在港交所挂牌上市。美团将始终坚持以客户为中心,不断加大在科技研发方面的投入,更好承担社会责任,更多创造社会价值,与广大合作伙伴一起发展共赢。 岗位职责 1.负责用户中心系统的模块设计与开发工作; 2.维护并参与各微服务的系统发布、全链路压测、性能监控、流量控制、链路追踪等工作; 3.主导并参与美团App重要项目的设计过程和方案调研,对技术方案、风险进行评审和分析; 4.洞察业务,从技术角度规划服务于业务的技术项目,解决业务痛点,提升开发迭代效率; 5.对重要核心服务的架构升级、稳定性建设、高性能优化等方面进行规划并推进实施; 6.与其他团队协同,通过跨部门、跨业务的沟通、协作、分享等方式赋能组织,指导组内初中级工程师; 7.能承担有挑战性项目,灵活应变以保证任务的执行,积极寻找办法提高工作效率,协调多方资源确保完成; 8.研究行业标杆的方法,并在工作中实践、提炼,沉淀出切实有效的方法论,并推广应用; 岗位基本需求 1.计算机或者相关专业毕业,5年及以上相关工作经验,拥有扎实的计算机技术基础,具有良好的编码能力和编码风格,精通常用的数据结构与算法; 2.精通Java语言,熟练掌握Spring、Spring MVC、Spring Boot等常用开发框架,了解JVM、多线程并发、网络IO、分布式、缓存、消息、搜索等; 3.熟练掌握Mysql,具备优秀的数据库设计、SQL编写和优化能力,掌握MyBatis等数据库开发框架; 4.主导或核心参与过中大型项目的模块设计与开发,在架构设计中能够合理的考虑到数据一致性、容灾、容错等相关问题; 5.具备较强的抽象思维能力,有能力将共性需求提炼成技术项目,具备系统的中长期的规划能力; 6.关注新技术,有极客精神,深究原理和细节,对各种工具和轮子都有自己的见解,并能对团队内的初级员工进行正向影响; 具备以下者优先 1.有大型互联网(尤其是电商、会员)领域的工作经验者优先; 2.有高并发、大型系统开发经验优先; 3.有技术钻研精神,对优秀开源项目源码有研究者优先 岗位亮点 1.能够接触到超大流量,超高并发的服务,并亲身参与服务的开发、优化和维护; 2.C端业务,职责上为美团APP的核心模块;
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
主要职责: 1. 承担大数据平台日常数据开发、运维工作; 2. 承担ODS ETL相关工作,主要包含数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 参与数据治理工作,保障数据质量; 4. 承担相关报表的数据准备,利用BI工具开发相关业务报表; 5. 完成部门布置的其他与数据相关任务。 招聘要求: 1. ***大学本科及以上学历,计算机或数学相关专业,3-5年与数据相关工作经验; 2. 熟悉大数据主流开发框架:Hive、Hadoop、Flink、Sqoop等常用组件的使用,具备性能调优经验者优先; 3. 熟悉数据仓库使用及优化,深入了解数据仓库体系及实施,有实际支撑业务场景经验; 4. 数量掌握SQL、Python等编程语言,具备Java实际项目经验者优先; 5. 善于沟通,对数据具有一定敏感度,能快速理解业务背景,能承担工作压力,具备良好的适应能力。
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;