-
岗位职责: 工作内容: 1.负责数据或大数据类项目的设计、需求分析、开发、测试和维护工作; 2.负责数据或大数据类项目的后续优化和升级需求的相关开发测试工作; 3.负责基于大数据平台使用流处理工具进行ETL的相关开发; 4.负责数据中台相关主题域和数据服务的开发和测试工作; 5.配合数据模型分析工作,完成模型分析输入信息的探查、采集、准备等开发工作; 6.协助项目经理跟踪数据类项目的实施进度,需求管理,协调解决项目问题,根据系统后续使用情况,规划优化方案等; 技能要求: 1.计算机相关专业本科及以上学历 ; 2.3年以上寿险数据或大数据类项目工作经验,有数据类项目需求分析经验,熟练掌握SQL,了解寿险业务和指标体系,; 3.熟悉数据中台架构或熟悉数仓分层分主题体系架构; 4.熟悉主流数据库系统:oracle、mysql和nosql数据库,有相关ETL开发经验; 5.熟悉分布式、缓存、消息队列、负载均衡等机制及实现,具备大规模高并发访问的应用系统开发经验者优先; 6.有相关大数据知识,了解大数据平台的基本架构和组件优先; 7.有完整的交付类项目经验,有数据中台用户中台项目经验优先; 8.具备较强的自学能力,团队精神及抗压能力,思路清晰,善于思考,能独立分析和解决问题,较强的沟通表达能力与协作推进能力。
-
职责要求: 1.负责数据模型的需求分析、模型设计、数据开发工作; 2.负责数据产品模型的维护; 3.负责数据管理类任务的开展实施,如数据建模,元数据管理、数据质量管理、数据资产梳理、数据资产评估与分析、数据运营等工作。 招聘要求: 1.***本科及以上学历,金融、经济学、数据分析、统计学等相关专业毕业; 2.熟悉掌握大数据及数据仓库原理; 3.熟悉Greenplum(GP)/Teradata(TD)/MPP/mysql/Oracle/Redis/MongoDB/Neo4j一种或者多种数据库,具备大型数据库(TD/GP/MPP)的工作经验优先考虑;熟悉掌握ERWIN等建模工具。 4.有很强责任心.团队精神和持续研究学习的能力,能够接受工作挑战。
-
岗位职责: 负责大数据平台的技术方案设计、推动大数据平台的架构落地并持续完善、同时负责信贷大数据相关应用的开发及实施 岗位要求: 1)本科及以上学历,5年以上相关工作经验,35周岁以下,XX大学XX学院若写成XX大学视为简历造假; 2)具备DW/BI架构体系的建设经历并熟悉Hadoop生态圈; 3)熟悉了解shell、java、python、sql等计算机技术知识,具备极强的数据挖掘和分析能力。 4)具备金融或科技行业大数据项目开发经验者优先。
-
【工作职责】 1.【SQL】熟练掌握SQL及其他主流数据库的使用:精通SQL、存储过程、函数的使用,具备编写、优化复杂SQL的能力; 2.【BI】熟练掌握BI看板数据链接,看板可视化能力,具备看板性能优化,设计调优能力; 3.【数据体系】 参与数据质量治理相关工作,提升易用性与数据质量,建立规范化、稳定可靠的数据体系; 4.【数据指标】深入业务视角,充分理解业务的目标,搭建符合业务场景的数据监控,构建业务跟踪指标体系; 5.【数据底层】对数据底层、数据产品有较好的理解能力,帮助业务设计数据产品并且配合上下游部门实现数据产品化。 【职位要求】 1.良好的商业洞察力和业务分析视野,对推动租赁流程创新和数据中台建设富有热情; 2.3年以上工作经验,统计学、数学、计算机科学、商业分析或相关专业; 3.有数据处理能力,熟练使用SQL、Python、SmartBI、帆软等数据分析工具; 4.具备较好的口头和书面沟通能力,有团队合作精神,擅长推动跨团队项目合作; 5.自我驱动、善于独立思考和抗压能力强、有韧劲。
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1、负责数据库相关工具产品的开发和维护; 2、负责所开发模块的单元测试及回归测试; 3、解决产品开发中的关键技术问题,并具有一定的新技术探索能力; 4、负责产品相关文档的编写; 5、负责对产品的实施及售后工作提供必要的技术支持。 任职资格: 1、3年及以上 JAVA 语言开发经验; 2、对io、多线程、状态机、流水线等基础有深入理解 3、熟悉 SWT、AWT 等 C/S 技术; 4、熟悉 SpringBoot、VUE 等 B/S 开发技术 5、熟悉 MySQL, Oracle, PostgreSQL,SQL Server 等数据库; 6、熟悉 ShardingSphere,Druid 中关于SQL解析的代码逻辑; 7、JAVA基本功扎实,具有良好的代码编写风格; 8、沟通能力强;可适应加班及出差。
-
if (your_passions.includes('BigData')) { switch(your_stacks) { case 'Java': case 'Scala': case 'Python': console.log('Join AfterShip'); break; } } 岗位职责 1、负责 OLAP 引擎(如 ClickHouse、Doris 等)的调研、性能优化、Bug 修复及稳定性保障,推动相关配套工具和系统的建设; 2、深入理解 CDP 和指标平台的数据应用场景,推动客户数据整合、用户画像构建、实时指标计算等核心功能在 OLAP 引擎中的高效落地,确保数据 SLA; 3、负责数据服务应用技术架构的演进,构建统一的查询引擎层和数据服务平台,支持多业务场景的高效数据查询与分析; 4、与数据产品经理、分析师、业务团队紧密合作,理解业务需求并提供技术解决方案,推动数据驱动的业务决策。 岗位要求 1、本科及以上学历,计算机相关专业毕业,三年以上数据开发和数据应用工程架构建设经验,英语读写熟练,有 CDP 或指标平台领域有实际项目经验者优先; 2、深入了解 ClickHouse、Doris、StarRocks 等 OLAP 引擎中的至少一种,具备查询 SQL 调优和源码分析能力,能够解决性能瓶颈和复杂技术问题; 3、具备数据应用工程架构设计与实施经验,能够设计高可用、高性能的数据服务平台,支持客户数据整合、用户画像构建、实时指标计算等核心场景; 4、具备大规模数据应用架构设计经验(如分布式计算、实时数据处理、数据湖仓一体)者优先; 5、熟悉 Apache Calcite、Antlr4 等 SQL 解析与优化框架,有相关实践经验者优先。 加分项 1、对 Headlesss BI / CDP 有一定的了解且有实践应用经验; 2、向社区贡献过 patch 者优先。 为什么加入我们 1、朝阳行业:国际电商 SaaS 服务赛道,国际一线投资机构加持; 2、稳健发展:团队稳健扩张,业务规模及营收每年持续稳健增长; 3、多元文化:团队来自全球 20 多个不同城市,国际化视角、扁平化管理; 4、极客氛围:拥抱开源技术,实践敏捷开发,崇尚通过工具和自动化来解决问题; 5、特色福利:学习基金、 一对一帮带、内部商城、提供 MacBook 及可升降办公桌。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
职位职责: 1、参与游戏业务的离线和实时数据仓库建设和运维; 2、参与数据ETL流程的优化并解决ETL相关技术问题; 3、参与复杂数据链路依赖和多元数据内容生态下的数据治理工作; 4、依托字节成熟的大数据方案,在业务快速落地数据解决方案。 职位要求: 1、计算机相关专业本科以上学历,4年以上大数据相关工作经验; 2、掌握Hive、Yarn、Spark、Flink、Kafka、HBase等大部分大数据相关技术,了解其原理并可完成性能调优; 3、熟练使用HQL,至少掌握Python、Java、Scala、GO其中一种; 4、熟悉Linux操作系统,熟练Shell编程; 5、工作积极主动,能独立分析和解决问题; 6、有责任心,良好的沟通能力和团队合作能力;有游戏行业经验优先。
-
岗位职责: 1.负责电商供应链数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商供应链数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商供应链数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.3年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.掌握实时处理技术相关组件(如Kafka、Flink等); 6.负责过数据治理或数据仓库设计优先;
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
岗位职责: 1. 负责到店平台数据领域的质量建设工作,包括但不限于数据生产加工及数据平台、数据产品的质量保障方案制定及落地。 2. 通过建设数据可测性、全链路追踪、数据监控体系等能力,保障数据质量。 3. 参与数据应用的效果评估体系建设,如:算法策略的效果评估等,对数据应用的最终业务效果和质量负责。 4. 参与建设到店平台数据领域的研发交付体系,从测试环境、可测试性、测试工具等方面,提供稳定高效的测试能力和测试基建。 岗位基本要求: 1. 计算机或相关专业本科以上学历,计算机技术基础扎实,编程能力过关。 2. 两年以上的大数据测试经验,熟悉数据算法研发测试流程。 3. 熟悉Hadoop/Hive/Spark/Flink等大数据生态相关技术,在数据仓库、数据平台、数据挖掘领域有一定知识积累。 4. 具备较强的逻辑思维与表达能力,善于沟通协作,学习能力强,具有良好的团队合作精神。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
离线平台数据开发工程师 (MJ001515)
[深圳·福田区] 09:35发布15k-30k·13薪 经验3-5年 / 本科旅游|出行 / D轮及以上 / 500-2000人岗位职责 1、基于Spark/Hive构建企业级数据仓库及离线处理平台; 2、基于Spark/Trino构建统一的查询服务,支持ETL/AdHoc查询; 3、基于Spark源码完成问题修复及自定义功能开发; 4、参与维护离线调度系统的稳定性及性能优化; 5、参与大数据应用规划,为数据产品、挖掘团队提供应用指导。 任职要求 1、本科及其以上学历,计算机相关专业; 2、精通Java/Scala语言,熟悉JVM的常用调优及问题定位,追求高标准的工程质量; 3、对Spark/Hive等离线计算框架有深入理解;对Spark源码熟悉优先; 4、熟悉Hadoop、Trino、Kafka、ZK、Elasticsearch、Redis等的工作原理; 5、熟悉常用算法和数据结构,熟悉网络编程、多线程编程技术; 6、逻辑清晰,思维敏捷,思路严谨,能独立分析和解决问题,责任心强,具备良好的团队协作能力; 7、具有较强的学习能力、自我管理能力、敢于挑战。 -
数据1 岗位职责: 1、负责数据仓库项目的数据分析、模型设计、ETL开发工作; 2、负责数据加工处理脚本编写,调度依赖配置; 3、编写相应文档; 任职要求: 1、相关专业大专以上学历(计算机,软件工程等);1年以上ETL开发工作经验; 2、熟悉MySQL、Oracle、DB2、高斯DB等其中一种数据库的使用,熟悉高斯DB优先; 3、熟练掌握复杂SQL语句编写,具有SQL调优能力; 4、熟悉SHELL脚本编写,熟悉LINUX服务器环境; 5、熟练掌握ETL过程;有传统数据仓库经验优先;有银行数据类项目背景优先; 6、具备较强的自我学习能力、有较强分析处理问题的能力、人际沟通能力、团队协作能力和工作责任感。 数据2 岗位职责: 1、负责银行监管报送项目的模型设计、ETL开发工作; 2、负责数据加工处理脚本编写,调度依赖配置; 3、编写相应文档; 任职要求: 1、相关专业大专以上学历(计算机,软件工程等);1年以上ETL开发工作经验; 2、熟悉MySQL、Oracle、DB2、高斯DB等其中一种数据库的使用,熟悉高斯DB优先; 3、熟练掌握复杂SQL语句编写,具有SQL调优能力; 4、熟悉SHELL脚本编写,熟悉LINUX服务器环境; 5、熟练掌握ETL过程;有银行监管报送ETL开发经验优先; 6、具备较强的自我学习能力、有较强分析处理问题的能力、人际沟通能力、团队协作能力和工作责任感。