• 11k-13k 经验5-10年 / 本科
    工具,企业服务 / 上市公司 / 150-500人
    1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
  • 15k-25k·13薪 经验3-5年 / 本科
    软件服务|咨询,IT技术服务|咨询 / 上市公司 / 2000人以上
    任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
  • 25k-50k·16薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 2000人以上
    工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
  • 15k-25k·13薪 经验3-5年 / 本科
    软件服务|咨询,IT技术服务|咨询 / 上市公司 / 2000人以上
    任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
  • 12k-20k 经验3-5年 / 本科
    数据服务 / 上市公司 / 500-2000人
    【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
  • 25k-30k·13薪 经验3-5年 / 本科
    文娱丨内容,旅游 / 上市公司 / 2000人以上
    职位介绍: 系统工程师(数据方向)将负责搭建和维护数仓及集群,根据需求提供产品和技术服务, 为上海迪士尼度假区提供各种系统及业务支持。您将管理日志管理平台和系统大数据平台,负责准实时和非实时的报表开发和数据分析。 工作内容: 1、负责数据仓库相关业务的数据统计分析; 2、负责数据仓库应用产品设计、开发、维护工作; 3、负责大数据集群资源管理、性能优化和故障处理和监控. 我们希望您: 1、有本科及以上学历,3年以上数仓相关工作经验,计算机及相关专业优先; 2、对 Flink,Spark,Kafka等流、批式计算框架有深入理解,在 Flink实时计算方向有项目经验优先; 3、熟悉各种大数据组件,如Hadoop、Hive、HDFS、Hbase、Kafka、Hudi,愿意从事大数据平台开发工作和维护; 4、熟悉分布式、高并发、高稳定性、海量数据的系统特点和技术方案; 5、熟悉Sql语法,有扎实的编程基础,至少熟悉python或java一种编程语言; 6、对于新技术、新应用有浓烈的兴趣,敢于承接挑战并有较强的责任心。 关于上海迪士尼度假区: 作为全球家庭娱乐业的领军企业之一,上海迪士尼度假区为我们的游客带来独具一格的服务和珍藏一生的记忆。加入我们,在这个充满奇幻、想像、创意和探险的全新世界里,为每年数以百万的度假区游客创造欢乐。无论您的迪士尼旅程走向台前还是幕后,您都拥有无限机遇。 * 我们致力于提供平等的就业机会,欢迎残障人士申请职位。 * 具体的福利基于职位有所不同,可能根据公司政策进行调整。 * 上海迪士尼度假区不会委托任何人或第三方机构向求职者收取费用。候选人请务必通过度假区官方招聘渠道获取度假区招聘的相关资讯。
  • 25k-40k·16薪 经验3-5年 / 本科
    居住服务 / 上市公司 / 2000人以上
    工作职责: 1、负责贝壳Hermes实时计算平台的开发和维护 2、参与Flink等实时技术调研及框架源码改造开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
  • 12k-20k 经验1-3年 / 本科
    金融 / 不需要融资 / 2000人以上
    岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
  • 15k-25k 经验3-5年 / 本科
    金融 / 上市公司 / 2000人以上
    工作职责 1、参与平安云分布式存储建设工作,保证生产系统稳定运行; 2、熟悉常见的云存储产品功能、特点,参与云存储产品规划,思考并提出建议; 3、参与云存储系统核心功能的设计、开发工作; 4、保证云存储生产运行中的系统稳定运行,了解其运行情况,对问题及时进行诊断及解决; 5、与关联系统团队保持良好沟通及协作,保证各项工作稳定开展。 任职要求 1、熟悉Linux环境编程, 具有3年以上的后台开发经验 ; 2、掌握基础网络协议(TCP、HTTP等)知识,熟悉网络编程和网络服务框架等; 3、具有扎实的编程基础,熟练掌握至少一门语言c/c++/python/go/java,如无go语言经验,愿意转go; 4、追求高品质代码,对工程质量有深刻认识, 注重模块化、单元测试、异常测试; 5、熟练掌握常用数据结构和算法,熟悉多线程编程技术,熟悉分布式协议(如Paxos/Raft/Zab等) ; 6、有较强的学习能力,有强烈的求知欲和进取心,能及时关注和学习业界最新技术。 满足以下条件者优先: 1、有大规模对象、文件、块存储或数据库等项目相关经验; 2、有Ceph开发运维经验; 3、熟悉以下任一开源存储系统源码:beegfs、ZFS、TiKV,Redis、HDFS、LevelDB、RocksDB、Mysql、MongoDB等; 4、熟悉Linux下 I/O协议栈; 5、具有内核,操作系统相关开发经验。
  • 15k-20k 经验1-3年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责服务器产品的系统集成测试工作,确保服务器系统的功能完整性、软硬件兼容性、性能、可靠性; 2、和合作伙伴联合工作,确保服务器产品在研发阶段的测试覆盖效果;包括整体测试方案制定、测试计划、测试用例review、测试报告审查等工作; 3、分析测试过程中发现的故障与缺陷,为设计部门寻找故障根源提供支持,并通过缺陷分析不断调整、优化测试方案和执行力度,确保测试效果; 4、投入性能测试及调优,包括基准性能测试及协助业务进行硬件相关的性能分析与调优; 5、研究、引入新的部件和技术,并验证落地,支持服务器系统的竞争力提升; 6、负责维护自动化测试用例以及代码开发,审核供应商研发各个阶段测试计划以及测试报告,确保服务器研发质量达标。 职位要求: 1、计算机或相近专业本科及以上学历;3年以上服务器测试工作经验; 2、熟悉主流厂商服务器硬件产品,熟悉主流硬盘、网卡、SAS卡及测试方法,熟悉掌握speccpu/fio/iperf/stream/mlc/lmbench/等工具及相关调优手段; 3、具备服务器选型测试经验,熟练掌握BMC IPMI命令、BIOS性能及功耗节能相关调优手段,具备debug技能; 4、具备一定的性能分析调优手段,掌握perf、emon/Vtune等深入分析性能手段。具备使用多种性能分析手段分析基准性能及业务性能瓶颈的能力; 5、熟悉常见AI或者大数据分析软件性能评估手段,并具备hands on经验,例如Spark,HDFS,Flink等; 6、熟悉常见业务软件性能评估手段,例如MySQL、Redis、Kafka、RabbitMQ等; 7、熟悉PXE安装原理,UEFI Linux引导过程,简单的Linux kernel configuration以及kernel module基本工作原理; 8、熟悉网卡工作原理,性能(带宽、延迟等)评测手段,性能调优手段,以及未来网卡发展趋势优先考虑; 9、具备较强自动化测试脚本编写能力,至少熟悉shell或者python编程,熟悉Java或者C,C++为加分项; 10、具备自动化测试框架开发经验,例如avocado框架及互联网服务器选型测试经验者优先考虑。
  • 20k-30k 经验3-5年 / 硕士
    人工智能服务,科技金融 / 不需要融资 / 500-2000人
    岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作。 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行。 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作。 4、学习和研究新技术以满足系统需求。 岗位要求: 1、拥有数据处理相关专业背景。 2、对互联网产品有见解,关注前沿技术,有较强的学习能力、分析能力和动手能力。 3、熟悉常用分布式计算和存储框架,如Hadoop/HDFS/Spark等。 4、至少熟悉以下一种大数据技术组件,Hive、Impala、Hbase、Flume、Kafka、Zookeeper、Storm、Flink。熟悉资产管理、资金业务和金融工程相关领域业务者优先。 5、个性乐观开朗,沟通能力强,具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率。 6、多份工作经历需最近2份工作均满2年,或最近1份工作经历满3年。仅有一份工作经历的需满两年。 7.工作地点:上海,成都
  • 15k-30k·17薪 经验不限 / 本科
    科技金融 / 不需要融资 / 2000人以上
    岗位职责: 1、负责金融业务大数据风控领域的系统及相关平台的建设; 2、负责信贷风控各类风控策略、风控模型的需求分析、代码实现及上线部署; 3、参与信贷风控领域数据体系及指标变量体系的建设与完善,发掘数据价值,以数据驱动风控; 岗位要求: 1、本科及以上学历,计算机、数学、统计学等相关专业; 2、具有3年及以上大数据开发经验,基础知识扎实,理解Spark/Flink框架,熟练使用Java/Scala语言进行Spark/Flink程序开发; 3、熟练掌握Flink、Kafka、HBase、Hive、HDFS、Spark、Elasticsearch、Redis等常用组件; 4、对金融行业风控领域有一定的了解,具备相关基础知识经验者优先; 5、对数据敏感,具备较好的数据分析意识,具备数据驱动业务的能力; 6、学习能力强,适应能力好,沟通能力强,有强烈的责任心,具备耐心、细心的品质。
  • 20k-40k·16薪 经验不限 / 不限
    工具 / 上市公司 / 2000人以上
    岗位经北京,技术,T3~T5 工作职责: -设计、开发和优化公有云存储系统类产品,包括但不限于对象存储、分布式块存储服务、文件存储 -开发和优化大规模高性能服务软件 -为百度开放云行业客户提供分布式存储技术和产品解决方案 -联动大数据、云计算、边缘云、视频云等多团队打造整体高性能解决方案 职责要求: -熟练掌握至少一种下列编程语言:C/C++、golang、Java -熟悉常用的数据结构、算法设计 -熟悉存储设备、文件系统、Linux操作系统、网络 -富有激情和创造力,学习能力强,良好的团队合作能力 -熟悉分布式系统理论,有大规模分布式系统设计架构经验(包括Hadoop/HDFS/Openstack/Ceph/mongodb/dynamodb/aws-s3/GFS/BigTable等),其中 熟悉ceph系统优先考虑
  • 企业服务 / 未融资 / 15-50人
    岗位职责: 1、负责HDFS、HBase、Hive、Yarn、Flume,Kafka、ES等大数据平台的规划、部署、监控和系统优化等工作; 2、负责Hadoop平台的用户管理、权限分配、资源分配; 3、负责Flink集群的部署维护、资源调度及任务上线等; 4、负责Airflow、Azkaban等大数据任务调度平台的部署、维护、开发支持等; 5、处理大数据平台各类异常和故障,确保系统平台的稳定运行; 6、研究业界前沿的大数据运维技术,负责各种运维工具和系统的设计开发; 任职要求: 1、本科以上学历,计算机或相关专业,具备至少3年以上hadoop及相关组件的运维经验; 2、掌握HDFS、HBase、Kafka、Hive、Yarn、Flink、ES等组件的工作原理; 3、熟练掌握至少一种脚本语言(Shell、Python、Java); 4、对Hadoop各组件的权限、安全、Kerberos有一定的经验; 5、熟悉MapReduce算法,能够编写和提交分布式计算任务; 6、对分布式开源项目有技术兴趣,能跟踪Hadoop开源社区的发展方向,自学能力较强,不断改进和优化集群; 7、具备高度的责任心,较强的故障分析及排除能力; 8、具备良好的团队合作精神,工作认真、细心、虚心好学、沟通能力好。
  • 短视频 / 上市公司 / 2000人以上
    职位描述 1、负责公司大数据资源管控方案落地,协助业务部门进行大数据资源管理方案设计,并推进各业务部门进行资源申请/管理/治理; 2、基于资源管理方案,负责大数据资源管理和治理平台的方案制定和产品设计; 3、分析资源使用现状,与研发共同执行并落地资源治理项,建立资源治理流程和规范,推进资源规范化使用的落地; 4、负责提高公司资源成本和治理意识,促进资源治理分享与传递,持续推动资源治理平台在实际应用中的落地; 5、优秀的项目管理和团队协作能力,推进项目方案按计划按时落地实施。 任职要求 1、3-5年以上大数据互联网数据中台部门的数据研发或产品经验; 2、对大数据相关引擎(Hdfs/Yarn/CLickhouse/Flink/Spark等)有深入理解; 3、有资源管理和治理、或设计过大数据资源管控方案,或有大数据架构部门工作经验者优先; 4、具备良好的产品理念和数据敏感度,优秀的数据产品抽象能力和逻辑思维; 5、具有比较突出的自我驱动力、抗压能力、表达沟通能力、组织协调能力。