-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1、负责公司app后端服务的核心系统开发 2、负责公司app后端服务的日常维护、线上问题排查、性能问题优化等工作 任职条件: 1、5年以上java开发经验,有互联网相关行业项目开发经验 2、扎实的数据结构与算法基础、熟练掌握java多线程技术,对线程同步、线程池、锁有实际使用经验 3、熟练掌握spring、springmvc、springcloud、mybatis、rocketmq、redis、zookeeper等主流框架 4、熟悉mysql数据库以及sql调优、了解doris、clickhouse、hadoop等大数据开源框架 5、熟悉linux平台的开发、生产环境部署、熟练掌握基本的shell命令 6、熟练掌握maven、git等主流构建、代码管理工具 7、至少熟悉thrift、dubbo、spring cloud等分布式服务框架中的一种,有实际使用经验 8、有复杂系统的设计能力、有系统负责人经验优先 9、有高并发系统研发与性能优化经验优先
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
工作职责: 1、负责保险数据中台整体架构设计与优化,负责主导数据中台/数据仓库/数据集市的模型架构设计; 2、构建数据治理体系,包括制定数据标准管理规范,元数据管理,主数据、数据质量监控等数据管理工作; 3、负责团队内数据建模方法体系的构建和理论指导、能够带领团队提高技术水平,培养团队人才; 4、理解并合理抽象业务需求,发挥数据价值,带领团队完成数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作。 任职资格: 1、**本科及以上学历,5年以上数据中台/数据仓库/数据平台相关经验,具备乙方或者大型实体企业内部的数据建模项目经验; 2、具备数据仓库和数据建模能力,熟悉建模理论与方法、维度建模、不同行业的模型主题域,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等; 3、具有数据仓库建模经验,熟悉IBM和teradata的FS-LDM的建模方法,并有金融企业数据中台/数据仓库建模实际落地经验; 4、个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责; 5、熟悉大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,对常见数仓技术体系:Kylin,Doris,Clickhouse,Hive,Spark,Flink,Kafka等,有一定实际研发经验。 6、具有良好的沟通能力和抗压能力,有项目协调/团队管理的经验。 加分项: 1、熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程; 2、熟悉保险行业相关业务,具备项目协调/团队管理的经验; 3、有阿里大数据生态Maxcompute、dataworks项目经验;
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
职位职责: 1、参与用户增长算法平台的设计与研发; 2、负责分布式大数据系统开发;高性能服务框架设计与开发 3、参与项目的架构设计、评审、技术攻坚及优化 职位要求: 1、精通java/scala语言中至少一种; 2、熟悉分布式、缓存、消息等机制; 3、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战; 4、熟悉大数据常用开源框架,例如hadoop/hbase/flink/spark/clickhouse等; 5、有实时流计算、分布式大数据系统开发经验者优先。
-
岗位职责: 1. 负责到店平台数据领域的质量建设工作,包括但不限于数据生产加工及数据平台、数据产品的质量保障方案制定及落地。 2. 通过建设数据可测性、全链路追踪、数据监控体系等能力,保障数据质量。 3. 参与数据应用的效果评估体系建设,如:算法策略的效果评估等,对数据应用的最终业务效果和质量负责。 4. 参与建设到店平台数据领域的研发交付体系,从测试环境、可测试性、测试工具等方面,提供稳定高效的测试能力和测试基建。 岗位基本要求: 1. 计算机或相关专业本科以上学历,计算机技术基础扎实,编程能力过关。 2. 两年以上的大数据测试经验,熟悉数据算法研发测试流程。 3. 熟悉Hadoop/Hive/Spark/Flink等大数据生态相关技术,在数据仓库、数据平台、数据挖掘领域有一定知识积累。 4. 具备较强的逻辑思维与表达能力,善于沟通协作,学习能力强,具有良好的团队合作精神。
-
职位职责: 1、负责数仓架构设计与人群、内容、投后结案等功能模块数据开发 2、负责数据治理工作,不局限于数据稳定性、数据质量等 3、参与OLAP引擎选型,解决实时数据查询痛点问题 职位要求: 1、具备数仓建模、数据治理设计与开发经验,掌握至少一门编程语言,如python、java、golang等 2、熟悉掌握Spark/Hive/Hadoop/Flink工作原理及应用,具有海量数据处理经验优先 3、熟悉掌握Clickhouse/Doris/ES/Druid其中一种或多种OLAP存储引擎,具备使用与调优经验优先 4、对数据敏感,具备较强的业务能力,能够挖掘业务痛点并解决加分 5、对互联网广告有较强的兴趣优先,具备良好的沟通协作能力、责任心
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;