-
岗位职责: 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发; 3. 基于Java及Linkis开源框架的质量引擎开发; 4. 大数据资产应用的开发、部署、调优; 5. 数据稽核引擎开发,数据共享交换能力对接。 任职要求: 1. 本科及以上学历,计算机相关专业; 2. 3年以上互联网或软件行业工作经验,熟悉Linux环境;熟悉Linux和Python开发; 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可: 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发; 5. 熟悉数据治理理论概念、架构,有元数据、数据质量、数据标准、主数据等相关数据治理经验; 6. 有分布式相关项目(分布式存储/分布式计算/高性能并行计算/分布式cache)经验; 7. 对数据库的架构、扩展特点非常熟悉,能熟练进行SQL优化、集群部署、数据同步等。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
任职要求: 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础; 2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark/SparkStreaming/Storm/Flink的实际项目使用经验; 3、熟练掌握HDFS/HBase/Hive/S3等分布式大数据存储技术。 岗位职责: 1、4年以上大数据项目经验;具有实际的代码编写经验; 2、有电信大数据平台经验者优先; 3、热衷于追求技术完美与创新。
-
工作内容: 1、负责公司大数据平台的开发、调优以及日常管理维护工作; 2、负责Hadoop生态圈的建设和兼顾日常数据采集、管理维护和监控; 3、能够独立或参与需求文档、设计文档的编写,满足质量要求。 任职要求: 1、本科或以上学历,计算机相关专业,2年以上大数据项目开发经验; 2、具有Hadoop/Spark开发与应用经验,有较大规模的项目经历; 3、熟悉hbase、hive、spark、kafka、flink等相关工具,有实际的项目经验; 4、熟悉java,熟练使用python, shell等脚本语言,有基于Hadoop平台开发经验者优先。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
职位描述: 1.本科学历,学信可查 2.六年以上工作经验 3.熟悉flink、spark、hive 4.有银行经验为加分项
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位职责: 1. 参与公司分布式实时计算引擎的开发设计工作,满足毫秒级延迟、百万级吞吐的处理要求。 2. 参与实时计算管理平台的开发设计工作,为公司提供统一的实时应用开发管理平台和服务,提升应用开发的效率,降低运维成本。 3. 参与公司核心实时业务系统的架构设计,包括实时推荐/实时报表/实时数据交换等核心业务。 任职资格 1.计算机相关专业硕士,3年以上大数据开发相关经关经验 2.要求熟悉Flink/Spark等分布式处理引擎,熟练使用kafka/rocketmq等消息中间件。 3. 精通java/scala等编程语言,精通数据结构和算法。 4. 对技术有热情,通过技术和团队合作来解决业务上的挑战。
-
职位职责: 飞书企业应用专注于泛财务领域。我们致力于建设基于大数据,搭建智能化、业财一体的财务中台,为互联网生态业务提供合规可控、效能卓越、业务洞察强的平台化能力,让经营者看清现状、预见未来。以技术中台的形式支撑财务税务,提供一站式产品能力,包括应收应付、发票、计税、付款,以及海量数据的清算、核算、报表、风控、分析。 欢迎对技术有孜孜追求的你,加入我们,一起探索和研究互联网时代的企业应用产品! 1、负责财务数据全链路质量保障和治理,包括但不限于数据同步、数据加工(离线+实时)、数据资产化(指标、标签等)、数据业务支撑(财报、管报、应用服务数据等); 2、负责数据类产品的质量保障方案设计及执行落地; 3、通过数据资产审计、制定准入准出机制、设计及执行数据校验核对、资产巡检、变更防控、仿真预演、监控应急等方式保障数据资产及数据产品的质量; 4、通过测试流程标准、方法和技术创新、自动化工具化等方式提升业务数据资产质量、数据产品质量、研测效率; 5、不断探究和建设一流的大数据领域技术风险保障体系和技术风险保障平台。 职位要求: 1、数据或数据产品相关的开发或测试4年以上经验,对数据仓库、数据挖掘、数据平台、数据引擎领域知识有较好储备; 2、熟练掌握一门或多门编程语言,如Java、SQL、Python、go等;有测试框架或质量平台开发经验、大型项目开发编码经验者优先; 3、熟悉数据仓库模型设计、ETL开发,维度建模设计方法,具备海量数据处理经验者优先;具备数据研发平台、数据服务等数据产品开发测试经验者优先;具备分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术者优先; 4、具备大型项目的整体质量保障经验者优先;具备性能、异常、稳定性、用例自动生成等专业测试领域经验者优先; 5、具备较强的逻辑思维能力,谈判能力和冲突管理能力;良好的沟通能力和团队协作能力;快速适应变化、结果导向、追求上进。
-
【职责描述】 1.负责ClickHouse应用项目的需求分析、系统设计、关键技术研究和核心代码编写; 2.配合业务部门梳理业务流程和数据模型,对设计模型设计进行建议和把关; 3.负责公司数据湖的性能优化,线上问题定位、线上SLA保障等; 4.负责ClickHouse内核技术的研究和新技术的引入,解决业务问题; 【任职要求】 1.计算机科学及相关专业,大学本科及以上学历,6年以上实际工作经验;至少3年以上的分布式数据库或数据库内核技术专家经验; 2.对ClickHouse或者相关海量数据分析和检索引擎至少有5年以上的应用经验,3年以上的调优、问题解决经验; 3.熟练掌握ClickHouse\GreenPlum\Doris\StarRocks\Presto\Trino\Impala、或者公有云分布式数据库ADB\Hologres\GaussDB等主流分布式、MPP数据库的主流技术、产品及应用场景; 4.精通数据仓库架构及原理,具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验、精通数据库技术; 5.有ClickHouse内核开发、或者给CK社区贡献过源码者(不论是Commiter还是Contributor)优先; 6.至少精通一门编程语言,最好是C/C++\Java\Golang中的一门;
-
职位职责: 1、负责大数据方向相关数据内容,数据产品的测试和质量保障; 2、根据需求文档、设计文档分析测试点、确定测试范围、制定测试方案和策略、编写测试计划及用例; 3、根据业务逻辑编写测试SQL脚本,独立完成项目中数据指标,服务的测试,保证数据质量和稳定性; 4、负责规划、设计、实施监控每日数据产品的质量情况,提前检测发现数据的异常; 5、编写自动化测试脚本提升测试效率。 职位要求: 1、计算机及软件相关专业本科以上学历; 2、3年以上大数据相关平台、产品、应用测试经验, 有Hadoop、hbsae、Oracle等大规模数据监控,处理测试经验者优先; 3、精通一门脚本语言,Python 或 shell,解决复杂问题和编写自动测试工具和系统的能力; 4、熟悉常见软件测试流程、方法、系统,有敏捷团队经验者尤佳; 5、参与测试效果评估和软件质量核查,通过测试相关流程、策略、方法和工具等创新,提升测试的质量和效率; 6、对互联网质量保证领域有强烈的兴趣,有互联网或数据测试开发经验优先; 7、有性能、安全、白盒测试等专业测试领域经验者优先,能主动进行技术钻研; 8、性格开朗乐观,积极主动,善于沟通,具有很强团队协作能力。