-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
岗位职责: 1.负责电商供应链数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商供应链数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商供应链数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营; 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.3年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.掌握实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先。
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言;
-
岗位职责 1. 参与数据仓库/数据集市的逻辑与物理数据模型设计。 2. 负责数据仓库/数据集市的提数需求,按需要完成一定复杂程度的统计分析与数据探索。 3. 根据分析方案设计数据支撑需求,获取、整理、清洗和转换数据,以满足分析建模的输入要求。 4. 按时完成指定的数据生产任务。 5. 根据需要为客户提供数据挖掘与专题分析相关的专业培训服务。 6. 负责数据治理项目的需求、设计、实施工作。 任职资格 1、 计算机相关专业及项目管理专业,本科及以上学历,5年以上大数据平台使用和数据治理项目开发经验; 2、 具备SQL编程能力,并对SQL语句具有一定的调优功能,掌握Oracle、mysql等数据库,有数据库开发和设计经验; 3、 熟练掌握基于hadoop生态的大数据开发工具,包括HIVE、HDFS、Zookeeper、Yarn、Spark、HBase、Sqoop、ES、Impala、Flink、Storm等,有实时系统开发经验优先; 4、 熟悉数据ETL相关工具及架构体系,熟悉Kettle等; 5、 对数据有敏感性,具备数据库物理模式设计和数据建模设计实施经验; 6、 精通批处理计算框架和实时计算框架,如MapReduce、Spark、Flink、Flume; 7、 有较强的业务理解能力,能快速将业务问题转化成具体的技术解决方案; 8、 有丰富的数据仓库实施相关工作经验;
-
工作内容 1、理解系统的业务需求,主导重大项目的架构设计和核心模块设计; 2、负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作,并为应用开发团队提供技术支持、模型分析; 3、识别关键能力与角色,构建集成交付流程并指导大数据系统集成交付团队的组建; 4、主导技术难题攻关,保证项目按期高质量交付; 5、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块; 6、进行系统技术平台的选型和评估新技术的可行性; 7、识别出技术方向、产品组件、技术培训等需求,并组织实施; 8、根据业界实践、项目实施经验等优化系统集成交付流程与方法论; 9、组织并负责大数据相关方案评审; 10、为开发人员提供技术指导及帮助; 职位要求 1、6年以上行业软件设计开发经验,具有丰富的行业解决方案经验; 2、熟悉云计算开发框架,Hadoop、Hive、HBase、Storm、Kafka等大数据主流工具和技术,有海量数据或海量并发的大型项目架构设计经验; 3、扎实的Java(或.NET、PHP)和数据库技术基础,精通Web应用相关技术,熟悉分布式、多线程、异步处理、消息处理、搜索等中间件产品和工作机制; 4、丰富的软件开发经验,深入理解各种框架工作原理,有框架开发/定制开发经验者优先考虑; 5、具有出色的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题。 6、熟悉行业标准,如:TMF eTOM, ITIL,TMF SID等,并有实践经验; 7、技术视野开阔,学习能力好。 8、性格开朗,系统思维能力好,善于沟通,具备良好的项目管理能力。
-
高级大数据工程师
[北京·东城区] 2023-02-2520k-35k 经验3-5年 / 本科电商平台,内容社区,数据服务|咨询 / 不需要融资 / 50-150人岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作; 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行; 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作; 4、学习和研究新技术以满足系统需求。 岗位要求: 1、2年以上大数据从业经验,对编程和技术充满激情,了解互联网广告业务者优先考虑; 2、熟练hadoop、spark, hive、hbase, storm, flink有环境搭建和优化经验; 3、熟练使用mapreduce、hive sql处理数据; 4、熟练使用linux shell; 5、 211、985***本科。 -
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
岗位职责 1.参加大数据流批处理的研发,如实时计算通用组件研发、元数据、血缘分析、指标管理平台、质量管理平台等; 2.支持业务数据报告需求; 3.大数据资源的调度和优化; 4.协助运维做好集群的维护工作; 5.积极主动研究大数据时代的各种前沿技术,并能在产品中得以运用实施; 任职要求: 1.本科及以上学历,3年以上大数据开发经验,精通数据结构和算法,优秀的故障排查和架构设计能力; 2.有从事分布式数据存储与计算平台应用开发经验。熟悉 hadoop/spark,有海量数据外理能力: 3.熟练掌握kafka,有实时流计算项目经验( storm/spark-streaming/flink,熟练掌握其中一种流式计算框架); 4.掌握Linux系统下编程经验,熟练掌握一门脚本予言(shell,python等); 5.熟悉MPP数据库的建模、使用和性能调优(如 HBase,ElasticSearch); 6.注重代码规范,具有良好的学习能力、文档能力、沟通能力、团队合作意识; 7.强烈的责任心与主动性,对所负责工作有主人翁意识,并能自我驱动成长。
-
岗位描述: 1. 负责大数据的采集、清洗、加工; 2. 负责数据仓库ETL流程的优化及解决ETL相关技术问题; 3. 负责大数据平台数据仓库建模、数据预处理子系统的设计和开发; 4. 负责带领数据治理团队,完成数据集成、数据治理和数据开发。 职位要求: 1. 熟练数据仓库的ETL的开发和医疗领域数据建模,5年以上数据仓库实施经验; 2. 熟练使用Haddop、Hive、Spark等分布式开源软件,具备系统优化与性能调优能力; 3. 精通JAVA/Python等面向对象编程语音,有长期实际项目开发经验; 4. 有DBA经验或分布式计算平台经验者优先,有医疗信息化背景优先; 5. 有医疗全民健康平台、大数据疾控经验优先。 此岗位为科大讯飞集团统一招聘岗位,人员通过简历筛选、笔试、初试、复试、终审等环节后录用。
-
岗位职责: 1、数字政府城市大数据平台规划设计; 2、城市大数据平台规划验证及落地实现,包括大数据框架选型、评测、配置、调优; 3、数据存储模型设计、工具产品及应用设计; 4、工具产品及应用开发; 5、数据接入、预处理、清洗、转换、校验、存储等过程脚本开发; 6、城市大数据平台日常运行监控、管理与维护。 任职要求: 1、计算机、数学相关专业本科及以上学历; 2、3年以上架构师、高级研发工程师、运维工作经验; 3、有大数据平台、数据中台、大数据工具产品规划、研发或运维经验; 4、熟练使用HBase、Hive、Spark、Flink、Kafka等主流大数据相关工具、框架,DolphinScheduler等调度系统,有海量数据处理经验; 5、熟练使用mysql、PostgreSQL、Doris、ClickHouse、达梦等数据库; 6、SQL调优经验丰富; 7、精通Python、Java、C++中至少一种编程语言; 8、熟练使用linux、Power designer,Axure,具备较强的文档能力; 9、责任心强、良好的逻辑能力和良好的团队意识。
-
岗位职责: 1.负责数据平台架构,需求分析,技术选型 2.参与平台大数据采集、清洗、传输、存储、实时计算、离线计算、调度、服务化等设计与落地 3.根据业务需求,提供面向业务的OLAP、报表、数据服务等,支撑业务快速发展 4.深入理解数据安全相关法规及标准,结合云平台业务制定合理的安全规范; 5.编写相关技术文档 任职资格: 1.本科及以上学历,扎实的Java基础,5年以上大数据工作经验 2.熟悉HBase、Redis等NoSQL数据库,熟悉PostgreSQL、Mysql等RDBMS,了解时序数据库更佳 3.持续优化ETL流程及性能,保证数据及时有效产出 4.精通常用大数据处理相关系统,如Hadoop、hive、spark、flink、kafka等,有实时离线数仓的模型设计与落地经验; 5.熟悉大数据体系,对数据采集、消息转发(Kafka等)、数据存储、批流计算等相关组件及技术有较深刻理解; 6.有算法开发、算法建模经验的优先
-
岗位职责: 1. 负责海运相关主数据和参考数据的接入、整合存储和计算; 2. 研发和维护离线和实时数据处理链路,确保业务功能的稳定可用; 3. 维护基础数据质量,包括数据规范制定和数据监控; 4. 支撑业务运营团队和算法团队的数据统计和分析需求。 岗位要求: 1. 本科及以上学历,计算机、软件工程相关专业毕业; 2. 具有5年以上软件研发相关经验,3年以上数据项目经验,掌握Java或Python语言及其核心库使用,熟悉关系型数据库(MySQL、PostgreSQL等)和NoSQL(MongoDB、Redis等),掌握复杂SQL查询及其优化; 3. 了解Hadoop生态圈组件(Hive、HBase等),能深入研发Spark或Flink计算任务; 4. 有1年及以上用户画像相关企业级项目经历,理解数据仓库原理; 5. 业务学习能力强,对领域新技术有探索精神,可正常阅读英文技术文档和邮件。
-
岗位职责: 1.负责数据类应用产品需求的分析、开发和维护等工作,实现数据价值最大化 2.负责业务线数仓的规划、设计以及建设,构建强大的OLAP系统,提供实时、离线的分析数据 3.参与系统架构设计工作,完成产品的迭代升级以及底层架构的升级研发 关键词:大数据、OLAP、BI、实时分析、流式计算、数据治理 任职要求: 1、有扎实的编程语言基础,熟练掌握SQL、Java、Python等 2、优秀的业务理解能力、逻辑性和沟通能力 3、熟悉大数据生态体系,有flink开发、sql查询优化相关经验者优先 4、具有数据湖,湖仓一体,流批一体的数据平台建设经验者优先 5、能接受省内短期出差