-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
35k-60k·14薪 经验5-10年 / 本科金融业 / 不需要融资 / 50-150人岗位描述: 1、设计企业数据架构,包括逻辑模型和物理模型,以支持数据存储、处理和分析需求; 2、制定数据管理策略和数据治理流程,确保数据质量和合规性。 3、领导数据架构团队,提供技术指导和培训,确保团队成员的技术能力和项目执行能力。 4、与业务部门和技术团队合作,理解业务需求,设计和实施数据解决方案。 5、负责评估和选择数据管理工具和技术,以支持企业数据架构的演进和升级。 6、监控和评估数据架构的性能和稳定性,及时调整和优化架构设计。 7、有效管理工作时间,确保任务按时完成,以满足项目需求。 8、积极服从公司的各项安排,以促进团队的顺利运作和项目的顺利推进。 岗位要求: 1、本科及以上学历,计算机科学、信息技术或相关专业。 2、8年以上数据管理和架构设计经验,具备丰富的数据仓库和大数据平台项目经验。 3、熟悉大数据平台,有完整的数据工程项目经验,有AWS EMR平台经验者优先。 4、熟悉Hadoop生态体系,包括但不限于Hadoop、Hive、Spark、Flink、Kafka等。 5、对新兴数据技术和趋势有敏锐的洞察力,能够快速学习和应用新技术。 6、具备领导能力和团队管理经验,能够有效领导团队完成项目任务。
-
云计算高级专家岗位要求 1.本科及以上学历,计算机相关专业,年龄40周岁及以下,有自驱力,敢于突破。 2.具有云计算相关的高级认证资格(如AWS、阿里云、华为云、天翼云专业级认证等),熟练掌握多种云计算平台的架构和操作,熟悉云计算技术的最新发展趋势,具有丰富的架构设计和方案实施经验。 3.具有10年以上相关工作经验,熟悉云计算架构、服务器、存储、网络、安全、虚拟化、分布式等技术,熟练掌握多种编程语言,具有大规模虚拟化、容器化部署和大型项目实战经验。 4.具有较强的团队管理、业务理解和沟通能力,能够快速识别并解决系统故障和性能问题,提出创新的解决方案,能够与业务部门紧密合作,理解业务需求并提供解决方案,带领团队完成云计算相关项目和任务。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位职责: (1)参与兴业银行大数据平台湖仓一体、存算分离、流批一体等前沿技术的基础架构体系规划与研究,并推动落地实施; (2)负责兴业银行大数据平台运维保障,存储、计算等各类组件性能调优,以提升平台稳定性; (3)协助兴业银行大数据平台信创迁移与相关系统改造、适配等工作; (4)联系上下游业务需求方与应用开发团队,对接协调大数据平台使用、建设、推广相关工作。 岗位要求: (1)熟悉大数据生态体系中分布式存储、缓存、高并发等底层技术协议与原理; (2)具有海量数据计算组件(Hive、Spark),OLAP查询引擎(Clickhouse、Presto、Doris等)故障排查与优化经验,有源码阅读与调试经验优先; (3)熟练掌握Flink等主流大数据组件原理及应用,具有Hudi或Iceberg等流批一体相关组件应用经验; (4)熟悉Docker、K8s等容器化、大数据组件云原生相关技术。 工作地点:上海
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;