-
职位描述 1、保障大数据相关计算和存储等核心系统的高可用,同时关注系统容量与稳定性; 2、深化系统可观测能力,提升监控智能化,帮助系统开发&团队快速定位故障; 3、推动提升服务的可靠性、可扩展性以及性能优化,保障系统SLA; 4、构建自动化运维方案,参与设计、实现能够保障线上大规模集群快速迭代和自动化管理的大数据运维平台; 5、提升大数据基础设施的资源利用率合理化,成本治理和分摊; 职位要求 1、本科以上学历, 计算机相关专业, 并有3年以上相关大数据SRE工作经验; 2、扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理; 3、熟悉一种或多种编程语言,例如 Go/Java/Shell; 4、具备系统化解决问题的能力,良好的沟通技巧和主人翁责任感; 5、熟悉Docker、K8S等容器化与云原生技术的架构与原理,对于常见的故障与问题有实践经验,具有分布式/大数据等系统经验优先(Hadoop/Spark/Flink 等);有腾讯云、aws等多云运维经验更佳! 6、具有算法思维,良好的数据结构和系统设计的能力者优先;
-
职位职责: 1、负责私有化项目的售后技术支持工作; 2、负责处理私有化项目的告警、故障响应; 3、负责运维脚本的开发; 4、负责公司产品 BUG 的提交,与研发沟通解决相关问题; 5、收集与分析客户需求,并定期为客户进行系统巡检。 职位要求: 1、本科及以上学历,具有两年以上大型 IT 系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,具有很强的 Troubleshooting 能力; 3、熟悉Hadoop大数据生态,包括但不限于Hadoop、Hive、Spark、Hbase、Flink、Impala、Clickhouse、Redis、Kafka等组件; 4、至少使用过一种自动化部署工具:Ansible、Saltstack、Chef、Puppet、Terraform 等; 5、至少熟悉一种脚本语言:Shell、Python 等; 6、对云平台有一定的了解,有使用经验者优先; 7、熟悉 Docker、K8S/Istio 等容器技术和工具者优先; 8、具有良好的沟通、组织与协调的能力,有一定的抗压能力,能够接受出差。
-
岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作。 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行。 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作。 4、学习和研究新技术以满足系统需求。 岗位要求: 1、拥有数据处理相关专业背景。 2、对互联网产品有见解,关注前沿技术,有较强的学习能力、分析能力和动手能力。 3、熟悉常用分布式计算和存储框架,如Hadoop/HDFS/Spark等。 4、至少熟悉以下一种大数据技术组件,Hive、Impala、Hbase、Flume、Kafka、Zookeeper、Storm、Flink。熟悉资产管理、资金业务和金融工程相关领域业务者优先。 5、个性乐观开朗,沟通能力强,具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率。 6、多份工作经历需最近2份工作均满2年,或最近1份工作经历满3年。仅有一份工作经历的需满两年。 7.工作地点:上海,成都
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
岗位职责: 1. 负责大数据平台的建设、数据SaaS应用开发; 2. 参与大数据平台系统架构设计,持续提升系统性能和稳定性,协助解决系统开发过程中的技术难题; 3. 跟进行业动态与技术发展,调研大数据领域前沿技术。 岗位要求: 1. 本科及以上学历,计算机、软件工程、数理统计等相关专业; 2. 三年及以上Java后端开发经验,一年以上大数据开发相关经验; 3. 熟悉Java、Scala等至少一种开发语言,掌握主流后端开发框架,如SpringBoot、Mybatis、SpringCloud等; 4. 熟悉Hadoop、Hbase、Hive、Spark、Doris等大数据相关技术,有大数据批处理优化经验更佳; 5. 熟悉Linux操作系统,熟练使用shell脚本,有Docker、K8S等容器云相关工具使用经验; 6. 工作踏实认真、责任心强,具备良好的学习能力,能够承受工作压力,具备良好团队协作精神及沟通能力。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
一、职位职责: 1、全面负责用户&商品画像和标签平台的架构设计与核心研发,确保平台的高可用性和扩展性; 2、深入理解公司各重点产品及业务需求,通过数据挖掘和分析,发掘潜在价值点,制定画像平台的长期发展策略,拓展画像在多场景下的应用; 3、领导画像产品的持续优化,推动画像标签应用平台的建设和技术创新,确保其在市场中的竞争力和领先性; 4、与跨部门团队紧密合作,推动用户画像技术在公司内部和外部生态系统中的推广和应用,提升公司整体数据应用能力。 二、职位要求: 1、精通Java语言及其生态系统,具备5年以上相关开发经验,能够在复杂场景下提供高效、稳定的解决方案; 2、深刻理解分布式系统、缓存、消息队列等技术原理,具备大规模分布式系统的设计和优化经验; 3、计算机基础扎实,对技术有极高的热情,具备解决复杂技术难题的能力,并愿意持续学习和应用新技术,应对业务挑战; 4、深入掌握大数据常用开源框架,如Hadoop、HBase、Flink、Spark、ClickHouse、Doris、Flink等,具备大规模数据处理的实战经验; 5、具备丰富的用户画像、数据应用开发经验,能够从业务角度出发,设计和实施数据驱动的解决方案; 6、有出色的领导力和团队合作能力,能够带领团队共同实现目标,并推动团队的技术成长和发展。
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;