• 20k-30k·17薪 经验5-10年 / 本科
    金融业 / 不需要融资 / 50-150人
    职责描述: 1.负责大数据平台搭建,运维,管理,故障处理。 2.负责保障大数据平台的高效运转,稳定,安全,能给出集群升级和扩展等方案。 3.能对平台的各个组件,如hadoop, yarn,Kafka,flink,doris,mysql,pg等进行配置优化。 4.负责大数据任务上线和部署,熟悉任务执行常见问题,制定应急方案 任职要求: 1、本科及以上学历,计算机相关专业,5年以上工作经验; 2、熟悉大数据平台,有大数据搭建和运维经验,有AWS EMR平台经验者优先; 4、熟悉Hadoop生态组件,了解底层原理,有配置调优经验,如Hadoop、Yarn,Flink、Kafka等; 5、了解数据分析型SQL语法, 有SQL优化经验者优先; 6、熟练掌握Msql,postgresql,Elasticsearch,doris等数据库的运维工作; 7、有良好的沟通能力,学习能力,书面表达能力,高度自驱。 关键词:需要了解大数据各组件安装、配置、和维护(包括flink / yarn / doris / DolphinScheduler 等 ),有AWS EMR平台经验者优先
  • 12k-20k 经验1-3年 / 本科
    金融 / 不需要融资 / 2000人以上
    岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
  • 20k-35k·15薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 500-2000人
    职位描述 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 岗位要求: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先。
  • 20k-35k·15薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 500-2000人
    工作职责: 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 任职资格: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先
  • 25k-35k 经验5-10年 / 本科
    居住服务 / C轮 / 2000人以上
    工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
  • 电商平台 / C轮 / 2000人以上
    岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
  • 8k-14k 经验3-5年 / 本科
    软件服务|咨询 / 上市公司 / 2000人以上
    一、公司简介 彩讯股份(创业板股票代码:300634)是一家软件互联网上市公司,是协同办公、 智慧渠道、云和大数据领域的龙头企业。拥有五地研发中心和遍布全国的运营网络,员工超过 3000 人。 公司坚持“以大场景运营效果为导向,全面数字化、智能化”的发展战略,持续加大在人工智能等领域的投入,将成为中国领先的智能数字化企业。 二、项目介绍: 中国移动云盘是中国移动面向所有用户推出的一款安全、智能、不限速、移动用户免流量的产品。产品涵盖存储备份、多端同步、在线管理、群组分享四大核心能力。云盘是继语音、短信、流量之后的“新基础服务”。 三、岗位介绍: 【岗位职责】: 1、工作内容:故障处理、问题跟踪及时通报、系统巡检及系统优化、应用系统安全加固、及时发现/处理和彩云自研平台问题。 2、监控告警支撑:收集整理主机和业务监控项需求,接入统一监控平台实现自动监控告警;故障告警的跟进和处理 3、系统优化:对所维护服务进行脚本编写自动的巡检、自动化故障分析及服务恢复; 4、重大节假日、重要保障活动按要求值班。 5、其他支撑工作:根据项目安排做好其他运维支撑工作。 【岗位要求】: 1、学历要求:*****本科及以上学历(学信网可查),重本学历优先; 2、熟悉TCP/IP协议,熟悉Windows,熟练掌握liunx操作系统维护; 3、熟悉nginx/apache/tomcat/php/ Zookeeper等应用服务的配置和优化; 4、熟悉容器化技术,对Docker、Keepalive和Docker Swarm集群或者 K8S、openshift有一定了解及一定的使用经验; 5、熟练shell/python任一脚本编程进行日常维护, 能利用awk和sed工具对日志进行分析与统计; 6、了解nagios/zabbix等常规的监控软件使用和配置; 7、了解高负载、高可用的服务器架构,熟悉memcached/redis等缓存中间件; 8、熟悉使用SVN/Git/Puppet/Ansible等自动化运维工具; 9、具备独立解决问题以及团队配合能力,良好的方案文档撰写能力以及沟通能力。 10、工作中善于使用AI工具,高效完成工作; 11、有开源作品或者技术博客,关注技术社区/论坛,有活跃足迹者优先。 四、薪酬福利与职业发展: 我们提供竞争力的薪资待遇和福利待遇,包括期权激励、五险一金、带薪年假、节假日福利、健康体检、培训及晋升机会等。 同时,我们还为员工提供广阔的职业发展空间,鼓励员工在工作中不断成长和进步。 我们的团队充满活力、激情和创新精神,致力于打造一个开放包容、信任互助的工作环境,并定期举行各种团队建设活动,增强彼此之间的沟通和理解。 期待您的加入,一起探索未来无限可能!想更多了解彩讯股份,欢迎进入:https://www.richinfo.cn
  • 13k-18k 经验3-5年 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
  • 11k-13k 经验5-10年 / 本科
    工具,企业服务 / 上市公司 / 150-500人
    1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
  • 18k-25k 经验10年以上 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    "高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
  • 电商平台 / C轮 / 2000人以上
    岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
  • 17k-25k 经验1-3年 / 本科
    金融 / 上市公司 / 2000人以上
    工作职责 1、 负责前沿运营工具产品的日常运维工作,包括系统的运行监控、值班oncall、事件响应及处理、用户服务请求,从业务操作、系统功能特性、接口逻辑等运用角度,对问题进行诊断及跟进解决; 2、 负责运维主动预防工作,从应用系统架构、监控、容量、性能等方面进行分析以提前发现隐患问题,并推动优化解决,不断提高系统运行稳定性; 3、 负责应用系统重大故障快速诊断及解决,跟进及推动故障改进措施实施;制定系统运行应急方案,并使用应急预案优先恢复应用系统; 4、 负责与业务部门交互沟通,协调研发部门、基础架构部门完成运维需求交付,并提供运维服务报告。 任职要求 1、计算机相关专业本科及以上学历; 2、具备很强的ownership、团队协作意识,善于主动思考与自我驱动,很好的技术敏感度和风险识别能力,能承受工作压力; 3、两年及以上应用系统运维或基础架构运维经验,熟悉IT运维相关工作,对监控工具、自动化运维等技术领域有较深了解,对监控方法有较好的理论基础; 4、对操作系统、数据库、中间件、网络、云平台、容器化等一个或多个技术领域有一定运维经验,能够从技术的角度分析异常; 5、良好的系统分析、解决问题的能力,具备清晰的逻辑思维和推理能力,较强的工作推动力;良好的沟通和表达能力; 6、熟悉以下几种技术中的两种或以上:Linux/Unix基本维护和操作,python/perl等脚本语言,Hadoop、Druid、Clickhouse等大数据组件运维,Java应用平台架构,数据库性能优化技术。
  • 15k-25k·13薪 经验3-5年 / 本科
    软件服务|咨询,IT技术服务|咨询 / 上市公司 / 2000人以上
    任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
  • 内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
  • 25k-50k·16薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 2000人以上
    工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力