-
岗位职责: 1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。 任职标准: 1.本科以上,计算机相关专业。 2.至少精通java/scala其中一种开发语言,熟悉主流后端开发框架。 3.精通大数据平台常用框架(hadoop/hive/spark/hbase/flink/presto/clickhouse/kafka)和组件的原理及常用应用场景,至少有3年以上大型生产系统上管理经验。 4.熟悉linux系统,熟悉常用的操作系统命令和shell脚本编写。 5.责任心强,有较强的沟通能力和团队合作精神。 6.了解docker、k8s相关技术,有大数据组件容器化经验优先。 此岗位base深圳南京都可~
-
岗位职责: 1、建设机器学习/深度学习平台,根据实际业务场景和需求,优化平台能力; 2、建设灵活的AI开发组件,支持业务打造定制化AI平台及业务。 岗位要求: 1、计算机及相关专业本科及以上学历,具有扎实的代码功底,熟悉常用的算法和数据结构; 2、精通Java语言,熟悉了解Python语言,具有良好的编程习惯,熟悉多线程编程,内存管理,设计模式和Linux开发环境; 3、熟悉Hadoop/Hive/Spark/Flink等计算框架,熟悉Docker技术及Kubernetes容器调度系统; 4、熟悉业界主流的机器学习平台,有机器学习平台研发经验者优先; 5、有Tensorflow/PyTorch等机器学习框架使用经验者优先; 6、有AutoML、自动特征工程系统设计经验者优先; 7、良好的团队合作和协调沟通能力,学习能力强,自我驱动力强,紧跟机器学习的发展动态。
-
岗位职责: 1. 负责大数据产品/工具相关系统架构、规划、设计、开发; 2. 负责基于企业级数仓构建的大数据应用后端设计和开发,参与需求、3. 系统分析及详细设计,以及在离线、实时等场景的技术优化; 3. 负责重点项目的设计方案评审与技术支持,以及技术难点攻关。 岗位要求: 1. **本科及以上学历,计算机、软件工程等相关专业; 2. 丰富的Java语言编程经验,Java基础扎实,理解io、多线程、集合等3. 基础知识,对JVM原理有一定的了解; 4. 熟练掌握 Spring 、 iBatis/Mybatis 等主流的开发框架; 5. 对MySql等主流数据库技术有深入理解,对sql优化有一定的经验; 6. 熟练使用ES,Hbase/Lindorm,kafka等中间件,了解底层原理及使用场景,遇到问题能提出优化解决方案; 7. 有海量数据的业务平台开发、设计经验; 8. 对技术有强烈的兴趣,视野开阔,喜欢钻研,有上进心,具有良好的学习能力。
-
1. 本科及以上学历,计算机、通信、电子工程等相关专业; 2. 3年以上相关经验; 3. 熟悉运营商IT架构,有经分系统、大数据、数据中台、数据治理、数据资产管理从业经验者优先; 4. 了解大数据处理及分布式系统前沿技术(包括Hadoop/Flink/Spark/Kafka/ClickHouse等开源框架)及主流的数据应用产品或工具; 岗位职责: 1.负责运营商市场大数据项目售前支撑工作,为客户提供高质量的解决方案,以此促进客户业务需求和技术需求在公司产品和项目中的实现; 2. 参加运营商客户IT规划与规范制定,主导项目竞标或者议标,协助销售赢得订单。 3.从商机发掘、方案制定、客户交流、立项跟进到投标工作的全流程售前支持。
-
任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
-
工作职责: 1、负责集团数据管理体系的规划及建设,从整个体系流程、制度、工具、平台等所有能力上保障公司数据相关工作的稳定、安全、可靠、合规。 2、负责现有大数据工具平台的规划建设、架构设计,并在工作中根据业务发展不断提升团队、平台的水平和效率。 3、基于数据驱动,统筹公司级数据产品、数据治理和数据资产管理等相关工作,为业务提供数据价值。 4、负责团队部门的日常技术管理工作以及部门人员的统筹规划,加强团队成员培养和技能提升。 5、深入了解业务,对平台酒店、零售大数据进行分析,寻找潜在的生意机会,并实现新增收益; 岗位要求: 1、**本科及以上学历,985/211学历,计算机/软件工程相关专业毕业,至少5年以上大数据管理经验; 2、熟练掌握数据体系建设的各个环节,深入理解数据质量管理、数据标准管理、企业级数据建模、主数据管理等方法。 3、熟悉大数据生态Hadoop、Hive、HBase、Spark、Storm、Flink等开源平台。 4、具备数据方案和架构设计能力-非PPT架构。 5、具有较强的技术管理能力与实践经验。
-
高级组长(需要管理经验): 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。 高级骨干: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
30k-50k·15薪 经验3-5年 / 本科社交媒体 / 上市公司 / 2000人以上职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题,对系统架构设计有丰富的经验,能够给出合理的设计方案; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 三年以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
工作职责: 1.负责面向金融业务的离线/实时数据仓库&集市的建设与维护,包括但不限于数据建模、数据开发、数据质量等; 2.负责各个业务数据BP支持,深入理解数据,基于海量数据,结合业务,建立、评估、持续优化数据模型; 3.构建优化标签体系建设,产出各类实体标签,并推动标签在指标统计、用户分析、客群拓展、智能营销等场景的落地,驱动业务增长; 4.统一数据标准,建立标签的评估机制和监控体系,持续改进标签的准确性、覆盖率、实时性等; 5.参与数据治理工作,提升数据稳定性及数据质量; 6.参与大数据平台规划、为数据平台整体规划落地提供业务侧需求和方案。 任职要求: 1.本科以及以上学历,计算机相关专业,有从0-1数据体系搭建经验; 2.熟练掌握至少一种编程语言:scala/java/python等,熟悉linux系统及常用shell; 3.熟练掌握常见的Hadoop、Hive、Spark、Doris、Flink等实时和离线大数据的处理工具; 4.具有实时离线数仓开发经验,熟练掌握数仓分层架构体系和数据处理流程; 5.熟悉用户画像/标签体系/指标体系建立过程,有大规模用户画像/标签/指标实践经验,用户画像/标签系统开发工作优先; 6.具有良好的沟通表达能力和团队合作精神,以解决业务问题为导向,有金融、营销或风控数仓建设经验者优先。
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。