-
(理工科专业优先, 岗位职责: 1、负责公司数据仓库建设、数据集成、数据管理的架构设计及开发工作; 2、负责公司各互联网产品的报表开发及版本迭代; 3、对数据有较高敏感性,熟悉互联网数据开发流程,完成从业务模型到数据模型的设计及开发工作。 任职要求: 1.有参与数据开发3-6年经验 2.具备一定的业务理解能力,能够根据业务需求进行数据处理和分析。 3.对数据有较高敏感性,熟悉互联网数据开发流程,完成从业务模型到数据模型的设计及开发工作。熟练掌握Java、Python等编程语言,能够进行大规模数据处理和分析。 4.熟悉关系型数据库和NoSQL数据库,如Postgresql、MySQL、Oracle、HBase、MongoDB等。 5.熟悉Hadoop、Spark、Flink等大数据处理框架,能够进行数据的存储、处理和分析。 3.具备良好的数据开发能力,能够独立完成数据开发工作,包括数据清洗、数据转换、数据集成等工作。
-
职位描述: 1、负责大数据平台的安全架构、开发、持续优化; 2、组织研发团队对业务需求进行持续开发优化,对现有大数据组件进行调优、二次开发; 3、负责批量和实时/离线数据处理相关功能的优化迭代; 4、负责数据处理相关基础架构的优化迭代; 5、协助分析和建立相关数据模型,进行数据产品的迭代和升级。 职位要求: 1、5年以上软件开发设计经验,本科及以上学历; 2、精通Spring、SpringBoot、MyBatis等各种常用开源框架和技术;熟悉多线程、缓存、消息等高性能架构相关开发技术; 3、理解Java运行时工作原理,熟悉JVM性能调优,能够充分利用Java特性支持框架与程序库的设计开发; 4、熟练掌握MySQL、Redis、ClickHouse/doris等数据库; 5、熟悉 Hadoop,Yarn,Hdfs,Spark,Impala,Kafka 等离线查询、即席查询和数仓相关技术,对大数据基础架构和平台有较为深刻的理解,能针对业务需求设计大规模数据 ETL 及分析存储方案,搭建相关数据架构; 6、对Flink流式计算平台有丰富的使用经验,能够解决其中常见问题,有PB级数据处理经验优先; 7、熟悉大数据平台类应用,特别是数据建模、数据仓库、数据集市、数据分析平台的搭建和运行; 8、至少熟练使用Python/Scala其中的一种开发语言; 9、熟悉设计模式,良好的编码规范,具备良好的软件项目设计能力; 10、对技术有激情、有追求;富于技术创新精神,勇于解决技术难题; 11、思路清晰,具备良好的沟通能力和理解能力;工作认真、踏实,责任心强。
-
工作职责: 1、负责业务相关方向的数据产品设计与开 发; 2、参与数据平台部大数据处理工作,负责数据采集、传输、计算、分析、存储等工作。 岗位要求: 1、本科或以上学历,计算机软件或相关专业; 2、熟悉Java体系,理解JVM原理、熟悉10、多线程、集合等基础框架,熟悉数据结构算法基础知识; 4、熟悉主流开源应用框架,如Spring、SpringMVC、MyBatis、SpringBoot、Docker、Dubbo等开发技术; 5、熟悉大数据开源框架,有实时计算平台或实时数据仓库开发经验者优先,如Hadoop、Hive、HBase, Spark, Storm、ElasticSearch,zookeeper、Kafka等; 6、熟悉MySQL等关系型数据库,能熟练运用SQL进行分析,有SQL调优经验优先; 7、具有良好的团队合作能力,工作积极主动,良好的学习能力及沟通协助能力。
-
职责描述: 1.负责公司各项产品和业务中,与大数据全生命周期相关的研发,包括数据采集、数据治理、数据分析与处理、数据可视化等;涉及使用成熟工具软件以及自主开发软件和脚本等。 2.参与公司自有大数据软件产品的设计与开发,包括系统平台软件及业务应用软件。 3.参与公司产品研发过程中,与大数据相关的客户沟通、需求分析、产品设计、部署交付、客户支持等流程。 4.解决产品及环境中涉及大数据的各类问题,持续改进软件质量。 5.参与软件工程相关文档资料的编写整理工作。 任职要求: 1.熟悉SQL、Scala、Python等编程语言中的一至二种,熟悉数据分析处理领域常用的Scala和Python开发库。 2.熟悉一种或多种开源大数据框架(如Hadoop、Spark、HBase、Hive、Flink)的使用方法;了解大数据框架的软件架构与工作原理。 3.熟悉数据分析处理相关的基本理论与常用算法,例如关系型数据库理论、数据仓库最佳实践、经典算法和机器学习算法等。 4.了解大数据生态的工具链,了解软件工程规范和流程。 5.具有较强的学习、理解和团队合作能力,乐于探索新技术、新方法,追求知识和能力的进步。 6.在大数据或相关领域有2年以上工作经验者优先;熟悉云计算、数据库或人工智能领域知识者优先。 7.大学本科或以上学历,能够熟练阅读理解英文材料。
-
工作职责: 1. 负责数据中台的相关功能维护及相应功能的迭代开发; 2. 深入了解业务,配合数据产品来完成实时、离线ETL逻辑处理; 3. 根据实际业务场景,输出相应的数据处理方案并参与实现。 任职资格: 1. 本科及以上学历,计算机、数学、统计学及相关专业,有5年左右开发经验; 2. 熟悉hadoop生态圈,熟练使用Flink、kafka、spark、hive、Hbase、Scala等进行数据开发; 3. 熟练进行数据建模,有参与大数据处理,算法实施等工作,如推荐、聚类等; 4. 了解DW基本概念,熟悉数据体系流程; 5. 有电商、广告推荐等业务经验加分(有项目管理经验加分)。
-
岗位职责 "我们的产品聚焦于家庭网络相关的数据分析,希望通过大数据分析和AI算法相关技术来打开家庭网络的黑盒,提升最终用户的网络体验感知,降低客诉率,提升运营商网络运营质量和潜在收入。 1、可以对单点算法性能做出**优化,或具备全局视野,能从E2E考虑算法应用竞争力体现; 2、负责移动终端设备人工智能、大数据挖掘算法和解决方案的研究、设计、验证和交付; 3、应用到的关键技术以图神经网络,自然语言处理,传统的机器学习如随机森林决策树,运筹优化算法等。" 经验能力要求 "1、具备人工智能AI算法、大数据算法、数据结构算法设计和开发能力; 2、至少掌握JAVA/python其中一种开发语言,java优先,掌握Hadoop开源工具使用更佳; 3、具有良好的团队合作精神,善于沟通 4、对MapReduce/ Kafka/ Spark/ HBase/ Hive/ Impala等开源软件熟悉或有开发经验者优先"
-
岗位职责: 1、负责公司大数据基础平台设计与优化,以提升平台的存储能力和计算能力 2、研究行内最前沿的技术发展方向,突破现有的技术难题; 3、负责部门内外的合作协调,优化资源结构,提高单产效率; 4、负责hadoop, hive, presto, kylin, alluxio等开源软件其中之一的核心代码优化与开发 任职要求: 1、3年以上大数据领域专业技术开发经验,熟悉大数据技术生态圈相关的技术,对于大数据技术架构有独特见解; 2、理解JVM 运行机制和内存管理, 有针对JVM GC优化经验; 3、熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念;掌握Hadoop, Kafka, Zookeeper, Hbase, Spark,flink等原理,熟悉k8s及DOCKER优先; 4、有参与大规模分布式调度, 存储或计算其中之一的研发与设计; 5、 熟练的Linux系统, 网络, 内存和存储等方面知识;
-
岗位职责: 1.负责整个元数据中心、一站式数据开发IDE、数据治理等数据平台的架构设计、核心编码等工作 2.负责搭建和优化OLAP技术平台,并能及时解决相关技术问题 3.负责大数据相关组件的调优、故障诊断及处理 4.积极配合数据仓库、下游数据应用平台处理相关技术问题 任职要求: 1.熟悉Java技术栈,熟悉并发编程、线程、JVM等基本原理,熟悉Spring技术栈 2.熟悉Hadoop大数据生态技术栈,包括但不限于Hive、HBase、HDFS、Spark、Doris等,并掌握三种以上 3.参与过大数据平台项目开发,包括但不限于元数据中心、一站式数据开发、数据治理、用户画像CDP、数据可视化等平台 4.熟练掌握数据结构,能够熟练使用SQL,熟悉MySQL或其它关系型数据库基本原理 5.有过大数据生态开源组件调优经验或者开源社区源码级贡献者优先 6.性格积极乐观,有良好的沟通能力,抗压能力,有强烈的学习/技术研究能力和良好的团队精神
-
"1、**本科以上学历,3年以上工作经验; 2、熟悉flink/spark/hadoop/hbase/hive等分布式计算技术,熟悉其运行机制和体系结构; 3、三年以上大型数据仓库架构和建模经验,熟悉大型互联网企业仓库架构解决方案者优先; 4、有一定的数据分析和挖掘能力,能从海量数据提炼核心结果,及时发现和分析其中隐含的变化和问题; 5、能够通过数据化运营发现、分析问题和优化流程,推动数据处理流程自动化,提升团队运转效率; 6、思路清晰,对数据敏感,有良好的沟通表达能力和跨团队协调能力,乐于寻求挑战和突破自我;"
-
岗位职责: 1、数据平台的搭建、调优和维护,保障数据平台服务的稳定性与可用性; 2、离线/实时数据计算、数据治理、自助分析报表和查询引擎等大数据组件的功能设计、开发和持续优化 3、负责数据仓库、BI等数据应用平台的建设、设计、开发及优化; 4、跟进并调研数据平台的技术发展趋势,及时引入相关技术,共同构建科学高效的数据平台 任职要求: 1、计算机、数学相关专业,本科及以上学历, 3年以上大数据平台相关经验; 2、熟练Java,使用Spring,Mybatis等主流框架,有较好的Web(vue)开发技术;有企业级大数据系统软件集成开发经验者优先 3、熟悉Hadoop、Spark、Flink、Kafka等框架或组件的使用; 4、熟悉Hadoop生态系统和数仓理论,在离线计算、实时计算、数据治理、数据服务等方面有丰富的开发经验 5、熟悉redis、mongodb、memcache等主流nosql的使用;熟悉mysql等主流数据库的使用 6、有高度的工作责任心,学习能力强,善于沟通,勤于思考,具备较强的团队合作能力。
-
【岗位职责】: 1、负责阿里云大数据计算以及数据模型的建设; 2、参与业务组业务调研,为业务实现提供大数据技术解决方案。 【岗位要求】: 1、编程能力突出,具有良好的编程风格,熟悉常用设计模式; 2、熟悉Scala语言; 3、熟悉Spark分布式框架,熟悉Dataworks开发环境; 4、熟悉blink流式计算产品; 3、拥有数据治理、清洗、判重、融合、存储、计算等数据开发经验; 4、有大数据平台服务分层框架,数据中台设计开发经验者更佳;
-
职位描述: 参与公司数据仓库、数据中台建设与运营工作。了解阿里云数据中台运营工作,对数据接入、治理、共享、安全有一定的了解。 任职要求: 1、大学本科及以上学历,计算机、数学或相关专业,3年以上数据开发或实施工作经验; 2、精通SQL语言,能熟练进行SQL查询优化; 3、对大数据技术有一定了解,有复杂关系型数据处理、数据清洗方面经验; 4、熟悉阿里Maxcompute技术栈,能熟练使用dataworks对数据进行加工转换,了解datahub,ots,tsdb等工具的使用; 5、熟练掌握SQL,熟悉Oracle、Hive、Spark SQL数据开发及性能调优; 6、有政企、互联网大厂数仓建设经验,数据治理经验者优先; 加分项: 1、有电力数据中台运营工作经验优先; 2、有电力大数据开发工作经验优先;
-
一、职位描述 1、对指定的多个网站进行网页抓取、数据提取;负责网络数据抓取规划、清洗以及汇总的开发工作; 2、负责特殊网页采集任务的分析及采集方案设计; 3、参与爬虫架构设计和研发,满足产品中数据抓取的要求; 4、参与爬虫核心算法和策略优化研究; 5、抓取调度和策略优化,实时监控爬虫的进度和警报反馈; 6、爬虫核心系统, 数据平台的研发维护。 二、职位要求 1、 本科及以上学历,计算机相关专业;3年以上开发经验,2年以上Hadoop相关工作经验; 2、具有数据挖掘、信息检索、机器学习开发经验; 3、精通HTML语言,熟悉JS,Ajax,熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具; 4、精通网页抓取原理及技术,从结构化的和非结构化的数据中获取信息; 5、熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL/R语言 等); 6、熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等); 7、精通网络编程,熟悉HTTP传输协议,能模拟浏览器操作爬虫; 8、有丰富Java /Python开发经验者优先;熟悉MySQL、Oracle及有集群数据库开发经验者优先。 9、具备web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取的经验。以解决技术难题为乐,对程序完美有偏执追求;具有团队精神,有想法,敢于挑战自我。
-
岗位职责: 1、负责广电BOSS业务后台相关功能,第三方接口对接程序,账务开发及维护; 2、负责报表系统,经营分析系统开发。 任职要求: 1、本科或以上学历,计算机相关专业,1年以上工作经验; 2、精通SQL;熟悉Oracle、Hadoop、Hive 数据开发及性能调优; 3、有UNIX或Linux操作系统使用经验; 4、有移动、电信、广电等行业开发维护经验者优先; 5、Linux操作系统使用、基本命令、SHELL编程。
-
工作职责: 1、参与系统需求分析,代码编写,单元测试; 2、编写相关技术文档; 3、分析并解决开发过程中遇到的问题,包括安全,质量,性能问题; 4、参与联调测试。 任职资格: 1、本科及以上学历,3年及以上Java开发经验; 2、精通Java基础、多线程、理解常用设计模式; 3、常用的开源框架(Spring Boot、Spring MVC、Mybatis等),熟悉MySQL或PostgreSQL数据库设计; 4、熟练使用 Hadoop、kafka 、Zookeeper、Spark、Hbase、ElasticSearch 等大数据组件中的一个或多个; 5、熟悉 Prometheus,有一定的运维能力; 6、学习能力强、有较好的团队合作精神。 7、接触过云原生相关技术栈,有一定了解。