-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
职位职责: 1、负责字节跳动集团数仓的平台设计、开发工作; 2、构建覆盖数据质量治理、数据资产管理、数据挖掘消费的全链路服务化方案,提升集团关键数据的质量、一致性以及利用效率; 3、落地业界领先的数据访问控制能力,保障数据访问安全合规。 职位要求: 1、计算机相关专业,深入理解计算机原理,有扎实的数据结构和算法基础; 2、熟悉使用 Java/Go/Scala/C++/Python 等至少一门语言,熟练使用MySQL/Redis/Kafka/ElasticSearch等常用存储技术,并熟悉其使用方式和实现原理; 3、能够使用 Doris/ClickHouse/Druid/Presto/HBase 等至少一种OLAP工具,并且掌握其原理; 4、优秀的设计以及编码能力、对技术有热情; 5、良好的沟通&理解能力,团队合作能力。
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1、对接并梳理业务需求,开发数据仓库模型,设计相关主题的事实表和维度表等; 2、负责数据仓库开发相关技术文档、技术标准、编码规范的制定; 3、负责数据治理、数据资产建设、模型集市建设等,并基于大数据平台完成各类统计和开发任务。 任职要求: 1、具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验; 2、精通SQL编程,熟悉Shell; 3、熟悉数据仓库模型和数据中台模型设计方法论,有实际搭建公司层级数仓的经验,有数据仓库性能优化的实战经验; 4、熟悉Flink或者阿里Blink框架,并有实际实时数仓开发经验; 5、具有扎实的数据库知识,熟悉关系型数据库; 6、需求理解能力强,拥有良好的分析和技术能力,并具备解决问题的能力; 7、有使用Hadoop生态有关大数据组件(Hive, Hbase, Spark等)经验,了解相关技术原理的优先; 8、有互联网公司或者保险金融相关行业数仓建设经验优先; 9、熟悉阿里云数据中台Dataworks、MaxCompute等产品,并有实际开发经验者优先。
-
岗位职责: 1. 参与公司分布式实时计算引擎的开发设计工作,满足毫秒级延迟、百万级吞吐的处理要求。 2. 参与实时计算管理平台的开发设计工作,为公司提供统一的实时应用开发管理平台和服务,提升应用开发的效率,降低运维成本。 3. 参与公司核心实时业务系统的架构设计,包括实时推荐/实时报表/实时数据交换等核心业务。 任职资格 1.计算机相关专业硕士,3年以上大数据开发相关经关经验 2.要求熟悉Flink/Spark等分布式处理引擎,熟练使用kafka/rocketmq等消息中间件。 3. 精通java/scala等编程语言,精通数据结构和算法。 4. 对技术有热情,通过技术和团队合作来解决业务上的挑战。
-
Python数据开发工程师 玖奕私募基金,正在寻找一名Python数据开发工程师加入我们的开发团队,您将与我们优秀的工程师和研究人员一起,负责开发和维护我们的高性能数据科学研究系统的相应组件。 岗位职责: 1、熟悉使用Python来开发数据应用,熟悉数据ETL; 2、高质量完成数据开发需求,充分测试,保证数据的准确些、一致性、及时性、完整性; 3、参与开发量化交易研究的回测系统组件,包括但不限于Tick数据采样、特征构造、特征选择、以及拟合等 4、开发可重用的代码和库;完成高质量的、可维护的代码; 5、可参与开发深度学习策略、自动化实盘交易系统等其他内部系统 任职要求: 1、本科以上理工科类学历,学习过计算机体系结构、数据结构等计算机类专业课 2、有2年以上Python开发经验,其中至少半年以上为数据处理类工作如爬虫、ETL等 3、熟悉Linux环境下开发,熟悉常用的Bash指令 4、熟悉Pandas/Polars等时序数据类库以及Numpy等科学计算库 5、熟悉MongoDB等NoSQL数据库 6、熟悉Python中基本的数据结构的使用方法,了解其计算复杂度 7、自驱、认真负责、技术沟通和技术协作能力强 额外加分 1、有金融行业数据处理经验 2、有容器化(Docker)开发部署经验 3、有使用serverless系统开发的经验,例如阿里云FC,亚马逊Lambda
-
岗位职责: (1)参与兴业银行大数据平台湖仓一体、存算分离、流批一体等前沿技术的基础架构体系规划与研究,并推动落地实施; (2)负责兴业银行大数据平台运维保障,存储、计算等各类组件性能调优,以提升平台稳定性; (3)协助兴业银行大数据平台信创迁移与相关系统改造、适配等工作; (4)联系上下游业务需求方与应用开发团队,对接协调大数据平台使用、建设、推广相关工作。 岗位要求: (1)熟悉大数据生态体系中分布式存储、缓存、高并发等底层技术协议与原理; (2)具有海量数据计算组件(Hive、Spark),OLAP查询引擎(Clickhouse、Presto、Doris等)故障排查与优化经验,有源码阅读与调试经验优先; (3)熟练掌握Flink等主流大数据组件原理及应用,具有Hudi或Iceberg等流批一体相关组件应用经验; (4)熟悉Docker、K8s等容器化、大数据组件云原生相关技术。 工作地点:上海
-
工作职责: 1. 负责公司内部商业化数据的开发和维护,为产品和营销团队提供数据支持和分析服务; 2. 设计和开发商业化数据仓库和数据集市,实现数据的采集、清洗、存储和分析; 3. 负责数据架构的设计和维护,确保数据准确性、完整性和安全性; 4. 参与业务需求分析和数据建模工作,编写SQL语句完成数据提取、转换和加载(ETL); 5. 能够独立完成数据问题的排查和处理,解决数据质量和性能问题; 6. 具有良好的沟通能力和团队协作能力,与不同部门的业务人员和技术人员合作,推进数据项目的进展。 工作要求: 要求: 1. 本科及以上学历,计算机、数学、统计等相关专业背景; 2. 2年以上数据开发经验,熟悉数据仓库和数据集市的设计和开发; 3. 熟悉大数据平台和工具,如Hadoop、Hive、Spark、Kafka、Flink等; 4. 熟悉数据仓库架构,了解数据仓库建模方法和技巧;
-
职位介绍: 系统工程师(数据方向)将负责搭建和维护数仓及集群,根据需求提供产品和技术服务, 为上海迪士尼度假区提供各种系统及业务支持。您将管理日志管理平台和系统大数据平台,负责准实时和非实时的报表开发和数据分析。 工作内容: 1、负责数据仓库相关业务的数据统计分析; 2、负责数据仓库应用产品设计、开发、维护工作; 3、负责大数据集群资源管理、性能优化和故障处理和监控. 我们希望您: 1、有本科及以上学历,3年以上数仓相关工作经验,计算机及相关专业优先; 2、对 Flink,Spark,Kafka等流、批式计算框架有深入理解,在 Flink实时计算方向有项目经验优先; 3、熟悉各种大数据组件,如Hadoop、Hive、HDFS、Hbase、Kafka、Hudi,愿意从事大数据平台开发工作和维护; 4、熟悉分布式、高并发、高稳定性、海量数据的系统特点和技术方案; 5、熟悉Sql语法,有扎实的编程基础,至少熟悉python或java一种编程语言; 6、对于新技术、新应用有浓烈的兴趣,敢于承接挑战并有较强的责任心。 关于上海迪士尼度假区: 作为全球家庭娱乐业的领军企业之一,上海迪士尼度假区为我们的游客带来独具一格的服务和珍藏一生的记忆。加入我们,在这个充满奇幻、想像、创意和探险的全新世界里,为每年数以百万的度假区游客创造欢乐。无论您的迪士尼旅程走向台前还是幕后,您都拥有无限机遇。 * 我们致力于提供平等的就业机会,欢迎残障人士申请职位。 * 具体的福利基于职位有所不同,可能根据公司政策进行调整。 * 上海迪士尼度假区不会委托任何人或第三方机构向求职者收取费用。候选人请务必通过度假区官方招聘渠道获取度假区招聘的相关资讯。
-
工作职责 1、基于Hadoop大数据平台环境进行数仓、集市开发,可根据需求分析说明书完成数据仓库、数据集市、BI报表等开发; 2、负责与用户沟通、澄清需求,验证底层数据,完善需求文档和编写数据模型设计文档; 3、根据业务发展需要进行数据仓库、数据集市建设,保证指标口径的统一完善; 4、与团队形成良好沟通,有效传达设计意图,并持续跟进设计的调整和优化。 任职要求 1、本科及以上学历,计算机相关专业,3年以上大数据开发工作经验,处理数据量TB级及以上; 2、3年及以上企业级数仓集市设计、开发经验,深入了解数据仓库集市设计理念及建模方法; 3、熟悉Hadoop生态圈,重点熟悉Hive、Spark、Flink等关键组件,且有相关开发经历; 4、熟练Hive数据库,精通Hql开发及其调试调优,熟悉ETL开发流程、熟悉主流的ETL调度平台; 5、熟悉主流BI开发工具,如FineBI、SmartBI、Cognos等; 6、思维清晰敏捷,逻辑分析能力强,具有良好的语言和书面表达能力;为人热情活泼,有良好的团队协作能力。 6、具有商业分析和数据挖掘经验优先; 7、有保险等金融行业经验优先。
-
工作职责: 1、按照公司规范要求,完成产品的项目运维实施工作; 2、维护产品,提供售后技术保障,建立良好的客户关系; 3、为客户提供产品相关的技术、业务咨询和培训。 岗位要求: 1、计算机或软件工程相关专业,大专及以上学历,有软件产品实施和技术支持工作经验优先; 2、有Linux操作系统基础,熟悉基础的操作系统命令和基本的操作; 3、熟悉主流的数据库,如:Oracle、MySQL、SQL Server中至少一种,熟悉oracle dataguard优先,具备较强的Troubleshooting能力; 4、熟悉shell/ Python/java/c语言优先,有相关运维实施项目经验者优先。 注:公司有完善的数据库内部培训制度(oracle、Greenplum等),产品包括大数据、数据仓库、人工智能、数据安全等,注重对人才的培养,学习成长空间大。
-
岗位职责: 1.理解业务,识别需求,参与平台建设等实践; 2.与业务/大数据/基础平台等团队深度合作,解决并支撑业务发展中的数据需求; 3.参与大数据实时计算、离线计算,针对业务场景完成数据的清洗; 4.参与大数据平台的计算平台的开发维护; 5.参与数据质量核检工作; 6.完成领导交代的其他任务等。 任职要求: 1、大学本科及以上学历,计算机及相关专业,3年及以上大数据开发经验; 2、熟练掌握Python语言,熟悉java优先; 3、能灵活运用SQL实现海量数据加工处理,并有优化数据计算和并行分析的能力; 4、熟悉Flink实时处理框架,有实时数据处理经验优先考虑; 5、有独立分析问题和解决问题的能力,并具有较强的业务理解能力; 6、具有较强的学习能力以及良好的沟通能力和团队合作能力; 7、有数据中台/数据治理/数据分析的实际开发经验,较强的日常故障诊断和性能调优能力优先考虑。
-
软件工程师 - 数据库内核开发 - 上海 (MJ000306)
[普陀区] 2022-08-2920k-40k·14薪 经验在校/应届 / 本科人工智能服务 / B轮 / 150-500人墨奇数据库团队专注于做业界领先的 OLAP 数据库, 让 AI,复杂类型数据和新硬件带给传统数据库新的生命力 我们需要你 设计和研发稳定、高效的分布式数据库存储引擎 设计和实现云原生架构的分布式数据库 我们希望你 计算机或者相关学科本科及以上学历 熟练掌握 C++,熟练掌握常用的算法和数据结构,有良好的编程能力和风格 熟悉至少一种数据库,熟悉 SQL 熟悉一种 OLAP/OLTP/HTAP 数据库及其生态,例如 ClickHouse、TiDB、PostgreSQL、MySQL 等 熟悉数据库基本理论或者选修过《数据库系统概论》或者《Database System Concepts》或者《Database System Implementation》 具备良好的团队协作意识,自我驱动,热爱学习,能够在压力下高效工作 -
一、招聘背景 随着公司业务的扩展和项目需求的增加,现计划招募一名具备OPC开发、虚拟化部署经验,并熟练掌握Java开发的工程师,以加强我们的技术团队,确保各项目高质量、高效率地推进。 二、岗位职责 1. OPC开发:参与和维护基于OPC协议的系统集成,开发与优化数据采集和通信接口。设计并实现OPC服务器和客户端数据交互模块,确保系统的稳定性和实时性。配合其他系统开发需求,进行OPC接口的开发与调试,保障数据的准确性与一致性。 2. 虚拟化部署:负责公司关键业务系统的虚拟化环境部署和维护,确保系统稳定和资源利用最大化。配置、监控和优化虚拟化平台,提升应用运行效率及安全性。制定虚拟化环境部署方案,包括环境搭建、性能调优及故障排除。 3. Java开发:参与基于Java的项目设计、开发与维护,确保系统功能的稳定性与易维护性。编写清晰、可扩展的代码,进行系统性能优化,解决关键性技术难题。配合团队其他成员,进行系统集成与接口开发,为项目提供技术支持。 三、任职要求 1. 学历要求:计算机科学、软件工程或相关专业本科及以上学历。 2. 工作经验:3年以上软件开发经验,熟悉OPC开发、虚拟化技术,有工业自动化项目经验者优先。 3. 技能要求: ①OPC开发:熟悉OPC UA、DA等协议,了解OPC SDK或其他相关工具的使用。 ②虚拟化技术:掌握VMware、Hyper-V、Docker等主流虚拟化技术,具备虚拟化环境部署及优化经验。 ③Java开发:熟练掌握Java编程,熟悉Spring、Spring Boot等框架,具备分布式系统开发经验优先。 4. 其他要求: ①具备较强的问题分析和解决能力,能够独立处理复杂的系统问题。 ②良好的团队合作精神和沟通能力,能与团队成员共同协作完成项目。 ③学习能力强,能够快速掌握新技术,适应新项目需求。 工作地址