-
Hbase运维工程师 职责描述: 1、负责数据集群/Hadoop/hbase等运维保障; 2、负责hbase平台各组件服务的监控及故障处理; 3、对hbase平台运维不断优化,提升数据产品的质量和响应速度; 任职要求: 1、一年以上大数据平台的运维相关运维经验,精于容量规划、架构设计、性能优化; 2、具备一定的开发能力,精通一门以上脚本语言(shell/python等),有java 和 scala 基础尤佳; 3、对hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层hadoop集群实际搭建及运维经验。 4、精通hadoop相关生态圈系统的搭建、管理、配置优化。 5、有Lindorm运维经验优先。 6、此岗位为合作方岗位。
-
岗位职责 1.负责搜索推荐服务数据体系的研发设计和建设,包括但不限于样本数据平台、特征数据平台、召回数据平台等等 2.负责搜索推荐领域,离线/实时的ETL工作,为业务场景和算法模型、搜推策略提供特征数据解决方案,包括倒排、正排、向量召回等,提供稳定且准确的数据服务 3.针对搜推场景对大数据量行为数据进行稳定的数据特征抽取和计算,了解搜索、推荐等核心场景对特征的使用方式,维护全面稳定的用户画像系统 4.具有较强的性能优化、数据稳定性意识,确保特征核心数据链路监控、数据一致性相关体系建设,对特征存储和特征在线服务高并发请求提供稳定性保证 5.有较强的学习能力,了解前沿的大数据技术,引入并推动数据架构的持续演进 岗位要求: 1.计算机相关专业,本科以上,5年以上大数据工作经验,精通Java编程,熟悉SQL编程 2.熟悉大数据计算平台架构,掌握Hadoop、Flink、Spark、HBase、Kafka、ElasticSearch、Hive等相关大数据架构 3.在流式计算领域有丰富的经验,掌握如何调优和解决线上问题,有相当的技术设计和架构能力,对实时数仓和离线数仓具有较深的理解 4.具有良好的沟通协作能力,需要有团队管理经验,具有较强的分享意愿,对搜推、推荐工程和算法有很好的理解能力 5.有搜索/推荐系统经验优先,有云平台使用经验优先,有互联网工作经验优先
-
岗位职责: 1.负责沟通需求,问题提炼,转化为技术文档; 2.负责保障数据接入、模型任务数据正常接入; 3.负责程序部署(共享服务、场景后端服务、对表相关操作SQL语句等)及验证; 4.配合排查分析数据接入异常问题; 5.量测中心MRS集群运维。 任职要求: 1.本科及以上学历,熟悉电力系统业务流程,有调度、营销、用采、配自工作经验者优先;; 2.熟练使用Mysql、Hbase、MongoDB等数据库; 3.熟悉Redis、kafka、ZooKeeper、kubernets、Docker、RocketMQ等技术; 4.具备华为云或阿里云相关经验;熟悉电力系统业务流程,有调度、营销、用采、配自工作经验者优先
-
职位职责: 1、负责流媒体海量数据处理、数据后端研发工作,支撑数据开发、数据服务与应用全流程; 2、负责数据产品(数据洞察、智能诊断、策略平台等)的功能迭代和性能优化; 3、保障和提升系统的性能和稳定性。 职位要求: 1、本科及以上学历,计算机相关专业,深入理解计算机原理,有扎实的数据结构和算法基础; 2、3年以上后端开发工作经验或大数据开发经验; 3、精通Java/Go等至少一门语言,熟悉MySQL/Redis/Kafka/ES/Hbase/Doris/Clickhouse/Druid等常用存储及其使用方式,并掌握其实现原理; 4、善于沟通,对业务敏感,能快速理解业务背景,愿意不断尝试新技术和业务挑战,具备优秀的技术与业务结合能力。
-
工作职责: 1.承担数据治理各阶段的相关工作,包括用户调研、分析业务数据需求与数据痛点、设计数据资产目录、数据资产盘点、盘点分析、根因分析、设计方案等; 2.负责客户管理与需求引导,深度把握客户需求,作为项目的核心交付成员,开展数据治理体系规划、数据架构、数据资产、指标体系设计、数据标准制定、数据质量管理等工作; 3.设计公司数据治理各领域的制度、规范、流程并落地推广,建立、发布和维护相应的标准化文档,与产研、产品、算法团队协作推进公司在细分场景的业务模型/指标/数据模型/算法的沉淀; 4.负责数据平台关键模块和技术方案的设计、攻关和优化,把控技术风险,协调、领导团队解决研发、交付过程中的各项技术难题,有效沉淀技术组件、形成技术积累和复用能力; 任职要求: 1.具有本科及以上学历,工作经验3年以上,*****本科及以上学历,计算机、大数据、数据科学等相关专业; 2.具备优秀的大数据需求分析、技术验证、技术方案设计、技术难点攻克能力及良好的项目交付与团队协作能力,能够组织跨团队协作、推动项目落地; 3.精通数据仓库相关理论,有企业级的数据仓库建设经验,有数据治理相关成功经验; 4.熟悉大数据生态相关技术,具备整体架构视角,熟悉数据治理方法论、ETL开发及大数据平台产品和组件,包括但不限于Hive、HBase、Kafka、Flink、ES、Spark等,至少具有1项企业级数据平台和数据中台架构设计管理经验; 5.对批流一体、数据湖等业内前沿方向有深刻理解,有实际团队落地经验者优先; 6.具备良好的沟通表达和业务理解力,能从业务视角看问题,从技术角度解决业务问题;
-
一、岗位职责: 1、参与云数据平台规划,分析业务问题,数据模型设计; 2、负责核心数据处理程序开发、部署调优、验收,及交付材料编写; 二、任职要求: 1、熟悉Linux/Unix系统和丰富的Java开发经验;熟练使用Spring boot,了解Spring底层结构,具备从事分布式相关系统的开发 2、精通大数据仓储技术栈有(Spark、Hive、HBase、redis、kafka、Hadoop等)相关开发经验 3、精通SQL,熟悉常用主流数据库,包括MySQL、PostgreSQL、Redis、MongoDB、Oracle,并精通其中任意一种,具有SQL性能优化经验 4、掌握主流ETL开发工具(Sqoop、Kettle) 5、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink
-
岗位名称:搜索/推荐引擎开发工程师 岗位职能:Java 工程师 工作年限:5-10 年工作经验 学历要求:本科及以上 工作地址:浦东新区晶耀前滩,近8/6/11号东方体育中心站 工作职责: 1、负责职位、简历的搜索和推荐系统(基于 ES、向量召回引擎)架构设计、开发和性能调 优等工作;其中,系统包含核心搜推引擎、数据流转、动态卡片呈现等; 2、负责搜推核心引擎的持续重构、优化,包含程序架构、ES 的 DSL 构建等; 3、结合业务场景进行策略以及功能的迭代; 岗位需求: 1、基础扎实,精通 Java,熟悉常见的设计模式,精通高并发编程、精通 JVM 调优、熟练使 用 GRPC 等; 2、有大规模高并发系统的设计和研发经验 3、有搜索/推荐系统多年开发经验;对搜索、推荐系统架构的原理熟练掌握 4、精通 Redis、HBase、ElasticSearch、Milvus等开源方案; 5、有深度学习部署框架(Triton、Onnx、TFServing 之一)相关业务应用的落地经验; 6、有大数据和主流 KV 库的(高吞吐场景)使用落地经验; 一、薪资及工作时间 薪资:基本薪资15-30K(视面试情况确定) 工作时间:周一至周五9:00-18:00,午休12:00-13:00,周末双休。 二、福利 五险一金+商保:社会保险和公积金(按国家标准足额缴纳),公司额外为员工购买补充医疗保险用于门诊及住院,员工每年定期享受一次全面的身体检查。 三、休假 公休假日、婚假、产假、陪产假等法定休假、转正员工每年享受带薪年假和全薪病假。
-
岗位职责: 1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。 任职标准: 1.本科以上,计算机相关专业。 2.至少精通java/scala其中一种开发语言,熟悉主流后端开发框架。 3.精通大数据平台常用框架(hadoop/hive/spark/hbase/flink/presto/clickhouse/kafka)和组件的原理及常用应用场景,至少有3年以上大型生产系统上管理经验。 4.熟悉linux系统,熟悉常用的操作系统命令和shell脚本编写。 5.责任心强,有较强的沟通能力和团队合作精神。 6.了解docker、k8s相关技术,有大数据组件容器化经验优先。 此岗位base深圳南京都可~
-
工作职责 1、参与平安云分布式存储建设工作,保证生产系统稳定运行; 2、熟悉常见的云存储产品功能、特点,参与云存储产品规划,思考并提出建议; 3、参与云存储系统核心功能的设计、开发工作; 4、保证云存储生产运行中的系统稳定运行,了解其运行情况,对问题及时进行诊断及解决; 5、与关联系统团队保持良好沟通及协作,保证各项工作稳定开展。 任职要求 1、熟悉Linux环境编程, 具有3年以上的后台开发经验 ; 2、掌握基础网络协议(TCP、HTTP等)知识,熟悉网络编程和网络服务框架等; 3、具有扎实的编程基础,熟练掌握至少一门语言c/c++/python/go/java,如无go语言经验,愿意转go; 4、追求高品质代码,对工程质量有深刻认识, 注重模块化、单元测试、异常测试; 5、熟练掌握常用数据结构和算法,熟悉多线程编程技术,熟悉分布式协议(如Paxos/Raft/Zab等) ; 6、有较强的学习能力,有强烈的求知欲和进取心,能及时关注和学习业界最新技术。 满足以下条件者优先: 1、有大规模对象、文件、块存储或数据库等项目相关经验; 2、有Ceph开发运维经验; 3、熟悉以下任一开源存储系统源码:beegfs、ZFS、HDFS、Hbase,LevelDB,RocksDB,Mysql、MongoDB,TiKV,Redis等; 4、熟悉Linux下 I/O协议栈; 5、具有内核,操作系统相关开发经验。
-
岗位职责: 1、对接并梳理业务需求,开发数据仓库模型,设计相关主题的事实表和维度表等; 2、负责数据仓库开发相关技术文档、技术标准、编码规范的制定; 3、负责数据治理、数据资产建设、模型集市建设等,并基于大数据平台完成各类统计和开发任务。 任职要求: 1、具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验; 2、精通SQL编程,熟悉Shell; 3、熟悉数据仓库模型和数据中台模型设计方法论,有实际搭建公司层级数仓的经验,有数据仓库性能优化的实战经验; 4、熟悉Flink或者阿里Blink框架,并有实际实时数仓开发经验; 5、具有扎实的数据库知识,熟悉关系型数据库; 6、需求理解能力强,拥有良好的分析和技术能力,并具备解决问题的能力; 7、有使用Hadoop生态有关大数据组件(Hive, Hbase, Spark等)经验,了解相关技术原理的优先; 8、有互联网公司或者保险金融相关行业数仓建设经验优先; 9、熟悉阿里云数据中台Dataworks、MaxCompute等产品,并有实际开发经验者优先。
-
工作职责: 1. 理解业务需求,并参与模块的设计及开发; 2. 单元测试并改进; 3. 参与技术和模块代码的迭代; 4. 紧跟前沿技术并定期交流培训,积极尝试新技术在应用上的探索; 任职资格: 1. 国家**院校本科及以上学历,计算机相关专业; 2. 3-5年以上工作经验,良好的编程习惯; 3. java基础扎实,精通io、多线程、集合等基础框架,了解jvm; 4. 熟练使用springmvc、spring、spring cloud、mybatis等常见框架,熟悉机制和原理; 5. 熟悉分布式相关概念和技术,掌握hadoop、spark、hbase、mangodb、kafka、elasticsearch、redis其中部分框架; 6. 熟悉前端前沿技术,熟悉react、vue、bootstrap等主流框架,熟悉ecmascript 2016以上版本的新特性; 7. 熟悉Linux系统,了解shell编程,熟悉常用软件的安装与调试; 8. 精通常见网络协议,熟悉restful风格; 9. 善于沟通表达,掌握常用的团队协作工具svn、git等工具;
-
美团平台为用户的基础产品体验负责,还承担了美团的用户增长、市场和品牌营销、前端技术基础设施建设以及多条业务线的产品设计职责,建立了融合文字、图片、视频和直播等不同形式的內容生态系统,同时整合地图服务部、客户服务和体验部、企业业务部、网约车业务部等部门,致力于用科技提升美团数亿消费者、近千万商家、骑手、司机和团长的服务体验。美团平台拥有高并发、多业务的复杂场景,为技术深度优化提供了最佳实践可能。这里有简单、讲逻辑、有爱的团队,更是一块理想的实战场地,舞台广阔,欢迎你来尽情施展。 岗位职责 1.负责美团平台站外分销方向的软件开发工作,包括需求分析、系统设计、编码和测试等工作。 2.参与制定项目计划和开发进度,并保证按时交付高质量的代码。 3.根据需求和设计文档,进行模块开发和功能实现。 4.负责代码的版本控制、持续集成和部署工作,确保系统稳定可靠。 5.与产品、设计和测试团队密切合作,解决开发过程中的问题和需求变更。 6.研究和掌握新型的技术和行业动态,保持对技术的敏感度和学习能力。 岗位基本需求 1.大学本科以上学历,计算机或相关专业,3年以上Java实际项目开发经验。 2.有扎实的Java基础,Java多线程、并发以及网络通信有深厚的经验。 3.熟悉设计模式、DDD,熟悉主流开源应用框架,如Spring、MyBatis、kafka、Maven、rpc等开发技术。 4.熟悉关系型数据库MySQL、SQL优化,熟悉es、Redis、HBase等常用存储组件。 5.熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息、负载均衡等机制和实现。 6.热爱技术,对技术有不懈的追求,喜欢研究开源代码。 7.良好的学习能力、团队协作能力和沟通能力;善于思考,能独立分析和解决问题。 具备以下者优先 有分销业务经验,参与电商系统、渠道客户对接、主R大型项目工作者优先。 岗位亮点 1.新业务,挑战大,机会多,成长快,能够从0-1、1-10构建一个业务线的整体后端系统,负责大型项目的设计与实现。 2.业务的复杂度高,品类多,玩法丰富,业务量级大,十分锻炼研发人员的问题解决能力和业务抽象能力。
-
岗位职责: 主要负责Klook支付、风控系统研发及日常维护工作,与产品密切配合,保证业务需求的高效落地; 负责管理自身项目和需求的优先级、按时高质量交付; 推动团队应用优秀的软件工程方法论,Code review 保证团队交付质量; 解决系统疑难杂症,参与技术方案讨论,技术驱动解决业务问题; 有较强的工作责任心和良好的沟通协调能力,能在压力下独立解决问题。 任职要求: 熟练掌握Golang/Java语言,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构; 负责过大型项目系统设计,具备系统抽象能力,熟悉Restful接口设计,有过互联网业务系统或相关技术产品开发经验; 熟练掌握MySQL数据库,擅长SQL优化,有大数据开源组件和关系图谱使用经验,至少熟悉kafka/es/mongodb/hbase/spark/flink/influxdb/neo4j中的2~3项,熟悉常见的大数据处理技术; 有支付、风控、反爬虫从业经验者优先,电商类项目经验优先(支付平台、收银平台、海外支付网关、风险控制平台、决策引擎、数据平台),开源贡献者优先、GitHub源码者优先、技术博客者贡献者优先。
-
职位职责: 1、负责统筹和推进字节跳动数据中心供应链内、外部数据系统的构建 (建模),搭建供应链的数据分析体系,包括KPI指标体系、报表体系、专题分析体系等; 2、识别供应链绩效(供应链计划、运营管理、库存分析、成本分析等)的关键影响因素、绩效管控和优化点,提出可行的绩效改善方案,推动供应链关键指标的改善; 3、推进数据可视化工作,提升供应链数据分析效率和数据价值转化等; 4、负责供应链相关基础数据建设,包括数据采集、清洗、加工、汇总等,确保数据准确、及时、安全、可信; 5、负责数仓规范、数据治理、数据血缘、数据地图、数据应用等数仓建设工作; 6、负责开发实时数据和离线数据,推动全链路数据线上化和数字化建设;搭建供应链控制塔; 7、深入理解业务细节,快速响应需求,对数据进行抽象建模,沉淀供应链行业数据模型。 职位要求: 1、本科以上学历,数学、统计学、运筹学、计算机科学与技术等专业,具备扎实的计算机科学功底、编程基础和数据结构算法基础,良好的工程素养,高效的问题解决能力; 2、熟练掌握主流的数据分析方法(回归分析、关联分析、聚类分析、时间序列分析等)及数据建模能力,了解常用机器学习方法; 3、掌握主流大数据和流式数据处理技术,如Flink、Storm、ES、HBase等; 4、理解数据仓库模型及思想、维度建模思想; 5、精通SQL语言,具备存储过程与ETL的开发能力,能熟练进行SQL查询优化。
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言;