• 15k-30k 经验3-5年 / 本科
    企业服务,数据服务 / 上市公司 / 500-2000人
    职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
  • 13k-16k 经验3-5年 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
  • IT技术服务|咨询 / 上市公司 / 2000人以上
    岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
  • 10k-20k·14薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
  • 12k-24k 经验1-3年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
  • 8k-10k 经验1-3年 / 本科
    移动互联网,金融 / 不需要融资 / 150-500人
    工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
  • 11k-15k 经验3-5年 / 大专
    企业服务,软件开发 / 上市公司 / 2000人以上
    1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
  • 20k-40k 经验3-5年 / 本科
    人工智能服务,科技金融 / 不需要融资 / 500-2000人
    岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
  • 7k-9k 经验不限 / 硕士
    人工智能服务,IT技术服务|咨询,数据服务|咨询 / B轮 / 50-150人
    【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
  • 20k-40k 经验1-3年 / 本科
    内容资讯,社交媒体 / 不需要融资 / 2000人以上
    职位描述: 1. 负责微博搜索、智搜相关实时数据处理开发和分析工作; 2. 负责构建高效、可扩展的实时数据处理平台,支持大数据流的采集、清洗、转换和加载(ETL)。 3.对数据进行深入分析,设计合理策略和模型,计算数据质量及反作弊相关特征。 4.持续监控和优化数据处理流程,确保系统的低延迟和高吞吐量和稳定运行。 任职资格: 1. 一年以上工作经验,熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术; 2.熟悉并有在实际工作中使用kafka等消息队列的经验; 3. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题,对系统架构设计有丰富的经验,能够给出合理的设计方案; 4.有搜索、推荐、广告等系统算法和策略设计有经验者优先;有hive、spark、hadoop、mr等工作经验者优先; 5. 良好的沟通能力,良好的团队合作精神;
  • 25k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责飞书的数据分析相关工作,有机会能够独立负责关键业务模块,拥有广阔的发展空间; 2、基于对企业办公和协同类工具产品的深刻理解,通过监控关键数据和深入分析,参与业务决策;发现潜在问题与机遇,并提供可靠的数据支持,为产品决策提供坚实基础; 3、全面分析各项影响产品体验提升与用户增长的因素,针对功能体验设计数据增长模型,设计指标量化指引优化方向; 4、有机会参与到飞书商业化模型的设计中,包括但不限于成本拆分、定价模型、售卖策略等等。 职位要求: 1、本科及以上学历,理工科专业背景优先考虑; 2、具备数据分析、数据科学、商业分析等相关领域工作经验,熟练掌握数理统计方法; 3、熟练使用SQL语句,熟悉大数据相关技术应用(如Hadoop、Hive等),擅长Python编程者加分; 4、具备出色的商业敏感度和逻辑推理能力,能够对复杂问题进行框架性思考和系统化分解; 5、具备高度的责任心和自驱力,有能力从业务全局出发,独立挖掘潜在问题,拥有良好的沟通和团队协作能力。
  • 30k-60k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、综合收入和支出,预测用户生命价值,打造渠道投放和内容采买评估体系; 2、基于用户表现,建立用户衰减模型,打造DAU预测和多产品互导平台; 3、整合业务、财务、人力数据,提供一站式查询平台。 职位要求: 1、强悍的编码、系统设计和troubleshooting能力; 2、熟悉至少一个分布式框架,如Hadoop、Hive、Spark、Storm、Kafka、Flink等; 3、有扎实的数据结构和算法功底,熟悉统计学习、机器学习、深度学习中一项或多项; 4、有数据挖掘、指导业务策略的经验(如渠道投放、内容采买和产品互导等)优先。
  • 30k-60k 经验5-10年 / 本科
    信息安全,企业服务 / 上市公司 / 2000人以上
    岗位要求: 1.负责深信服AI PaaS应用开发平台模块设计和功能开发,提升用户AI应用的开发效率、降低开发门槛,为业务智能快速创新赋能 2.对接客户构建垂直场景的AI应用快速发布的产品解决方案,支持用户AI应用快速交付 3.研究支撑AI应用开发主要组件(如prompt工程、agent编排、RAG方案、插件使用等方向)的开源方案、面向生产化的工程实践优化 4.持续跟踪国内外AI平台的最新技术和发展趋势,推动AI平台的技术升级 任职要求: 1.本科及以上学历,有5年以上研发工作经验,有较深的计算机相关专业知识背景。 2.熟悉常见AI和大数据框架Hadoop/Spark/Tensorflow/pytorch/keras等,熟悉各种分布式计算框架,例如Hadoop/Map-Reduce/MPI/Spark/TensorFlow等分布式计算框架,对于如何创新设计新的体系来支撑更大更快的机器学习算法有强烈兴趣;熟练掌握docker及kubernetes等平台,对高并发,高吞吐,分布式业务系统有设计、实现等实战经验; 3.具备3年及以上分布式后台服务开发经验,具备多语言多组件的条件的服务集群开发经验,产品开发中实际使用分布式计算/实时计算框架及分布存储/缓存框架等,使用Java/C++/Go等编程语言进行过大型分布式软件开发。 4.熟悉深度学习技术框架及工作原理,能熟练安装、部署、运维和调优这些框架(如Tensorflow/Pytorch,MXNet等), 有机器学习平台(Kubeflow、Ariflow、dify.ai等)开发经验者优先,有AI应用开发经验者优先; 5.优秀的团队协调能力;具备较强的ownership,以结果为导向,在负责领域内善于思考并积极改进。
  • 15k-25k·15薪 经验3-5年 / 本科
    社交媒体 / 上市公司 / 2000人以上
    岗位职责: 1. 负责微博汽车等多条业务线相关服务端研发、性能优化等工作 2. Linux服务器系统安装及日常运维管理 3. 应用系统的环境发布:包括环境搭建、应用部署、维护、升级等工作 4. 持续对工程进行改进与优化,提高开发能力和效率。 5. 有熟悉Python,Golang,AIGC优先。 6. 本科及以上学历要求。 任职要求: 1、3-5年PHP后端开发经验,熟悉常用的后端开发框架和技术,了解框架的运行原理,熟悉Yaf、CI等框架。 2、熟悉MySQL、Mongodb等数据库的设计和优化,具备良好的SQL编程能力。 3、熟练掌握redis、Elasticsearch、kafka等中间件技术。 4、对于python和go语言有一定的了解,能快速响应不同产品需求下对于开发语言的切换要求。 5、熟悉Linux操作系统,具备服务器部署、配置和监控经验,熟悉docker、k8s者优先。 6、熟悉大数据相关技术,如Hadoop、Spark等优先。 7、具备良好的编程习惯和代码规范,熟悉版本控制工具如Git。 8、具备良好的团队合作精神和沟通能力,能够与产品、前端等团队紧密合作。 9、喜欢专研、对新技术和开发方法有持续的学习和探索欲望,能够快速适应项目需求和技术变化。
  • 35k-60k·16薪 经验3-5年 / 硕士
    居住服务 / 上市公司 / 2000人以上
    工作职责: - 基于机器学习的广告竞价排序机制优化,优化用户体验/排序效果 - 广告冷启动策略以及转化率预估,以及售卖机制设计,定价策略优化等 - 运用数据挖掘和机器学习方法,深入挖掘海量房产数据,负责房屋价格预估、客源意愿挖掘、智能匹配等算法 - 参与特征工程、召回、排序等模型持续优化和研究,配合工程持续优化线上模型,持续提升产品体验和商业价值 任职资格: - 两年以上数据挖掘与机器学习应用经验,有推荐、广告/营销、搜索、最优化问题等领域丰富的实战经验 - 对深度模型和常用机器学习算法(如:NN、树模型、LR、FM等)有较好的理解及实践经验 - 具备很强的工程及编码能力,能独立实现和调优算法,熟练掌握Python、java、Shell、Go、Scala等中的一种语言 - 有海量数据处理和并行计算开发经验,熟悉Hadoop、Storm、Spark等技术者优先 - 责任心强,有快速学习的能力;目标导向,善于结合具体业务场景,灵活的分析与解决有挑战性的问题 - 有个人技术博客、活跃在各技术社区、有数据挖掘/机器学习相关paper的更佳