-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: 1.负责QQ音乐平台用户增长的数据挖掘/分析/机器学习/因果推断模型建设工作; 2.负责海量用户的画像建设,并落地到推荐/增长策略; 3.大数据挖掘分析,独立完成专项分析,为策略迭代提供有效建议,探寻增长机会,建设实验机制持续驱动产品增长计划; 4.与用户增长产品&运营深度配合,将业务需求转化为数据问题,支持并引导业务发展,支持用户增长策略的AB实验,并沉淀方法论。 岗位要求: 1. 精通数据挖掘、机器学习、因果推断、分布式计算等相关技术,两年及以上工作经验; 2. 精通python、SQL编程,熟悉java/Scala等语言; 3. 善于在大数据中挖掘价值,优秀的产品/数据sense,逻辑思维; 4. 熟练掌握spark/hadoop/Hbase/es等大数据计算存储框架; 5. 熟悉用户画像建设,熟悉推荐系统相关机器学习; 6. 良好的团队合作能力,较强的沟通表达能力; 7. 有用户增长相关工作经验者优先。
-
职位职责: 1、负责飞书的数据分析相关工作,有机会能够独立负责关键业务模块,拥有广阔的发展空间; 2、基于对企业办公和协同类工具产品的深刻理解,通过监控关键数据和深入分析,参与业务决策;发现潜在问题与机遇,并提供可靠的数据支持,为产品决策提供坚实基础; 3、全面分析各项影响产品体验提升与用户增长的因素,针对功能体验设计数据增长模型,设计指标量化指引优化方向; 4、有机会参与到飞书商业化模型的设计中,包括但不限于成本拆分、定价模型、售卖策略等等。 职位要求: 1、本科及以上学历,理工科专业背景优先考虑; 2、具备数据分析、数据科学、商业分析等相关领域工作经验,熟练掌握数理统计方法; 3、熟练使用SQL语句,熟悉大数据相关技术应用(如Hadoop、Hive等),擅长Python编程者加分; 4、具备出色的商业敏感度和逻辑推理能力,能够对复杂问题进行框架性思考和系统化分解; 5、具备高度的责任心和自驱力,有能力从业务全局出发,独立挖掘潜在问题,拥有良好的沟通和团队协作能力。
-
职位介绍: 系统工程师(数据方向)将负责搭建和维护数仓及集群,根据需求提供产品和技术服务, 为上海迪士尼度假区提供各种系统及业务支持。您将管理日志管理平台和系统大数据平台,负责准实时和非实时的报表开发和数据分析。 工作内容: 1、负责数据仓库相关业务的数据统计分析; 2、负责数据仓库应用产品设计、开发、维护工作; 3、负责大数据集群资源管理、性能优化和故障处理和监控. 我们希望您: 1、有本科及以上学历,3年以上数仓相关工作经验,计算机及相关专业优先; 2、对 Flink,Spark,Kafka等流、批式计算框架有深入理解,在 Flink实时计算方向有项目经验优先; 3、熟悉各种大数据组件,如Hadoop、Hive、HDFS、Hbase、Kafka、Hudi,愿意从事大数据平台开发工作和维护; 4、熟悉分布式、高并发、高稳定性、海量数据的系统特点和技术方案; 5、熟悉Sql语法,有扎实的编程基础,至少熟悉python或java一种编程语言; 6、对于新技术、新应用有浓烈的兴趣,敢于承接挑战并有较强的责任心。 关于上海迪士尼度假区: 作为全球家庭娱乐业的领军企业之一,上海迪士尼度假区为我们的游客带来独具一格的服务和珍藏一生的记忆。加入我们,在这个充满奇幻、想像、创意和探险的全新世界里,为每年数以百万的度假区游客创造欢乐。无论您的迪士尼旅程走向台前还是幕后,您都拥有无限机遇。 * 我们致力于提供平等的就业机会,欢迎残障人士申请职位。 * 具体的福利基于职位有所不同,可能根据公司政策进行调整。 * 上海迪士尼度假区不会委托任何人或第三方机构向求职者收取费用。候选人请务必通过度假区官方招聘渠道获取度假区招聘的相关资讯。
-
岗位职责: 1、负责账务、线上业务运营相关服务的设计和开发; 2、深入分析业务需求,撰写技术方案和系统设计; 3、完成详细设计和编码的任务,确保项目的进度和质量; 4、能快速分析解决复杂的技术问题; 任职要求: 1、本科及以上学历,专业基础扎实,计算机及相关专业优先; 2、为人踏实,协作能力强,能接受一定的工作压力; 3、具有较强的自我驱动能力和自学能力,沟通能力强; 4、Java Web开发3年以上经验,熟悉面向对象开发模式,了解常用的设计模式; 5、精通Java面向对象开发模式,了解常用的设计模式、熟练使用J2EE开源框架如Spring/SpringBoot/MyBatis-plus/Maven等,并了解其架构和实现原理; 6、精通Java集合包和并发包。或者精通Guava等第三方集合包; 7、熟悉MySQL数据库,能独立完成MySQL的数据库设计、性能调优等; 8、熟悉Kafka、RabbitMQ、Redis、HBase等常用MQ和非关系型数据库; 9、有Hadoop、Hive、Spark、Flink等大数据工具使用经验者优先; 10、有支付、账务系统、清结算、RPA、电子券、BI及数据可视化项目或行业工作经验优先。
-
工作职责: 1、充分理解业务需求及痛点,利用数据挖掘、数据分析、机器学习等技术挖掘业务价值,解决业务需求; 2、负责风控、定价等板块具体的数据挖掘项目,包括但不限于数据加工、数据分析、特征工程、构建模型等工作,并就对应项目阶段性成果进行汇报与分享,为业务发展提供支持; 3、参与构建用户全生命周期营销管理,构建以用户运营为核心的高质量的标签体系; 4、与业务团队构建良好的合作关系,积极沟通交流,推动合作项目成功。 任职资格: 1、3年以上数据分析/数据挖掘/机器学习等相关领域经验;**本科或以上学历;熟悉保险业务优先考虑; 2、熟练使用Python/Scala/Java中一门或多门语言;熟悉Spark/Hadoop/Hive等大数据处理技术,有阿里大数据生态Maxcompute、Dataworks、PAI项目经验的优先考虑;熟练使用Sql进行数据处理; 3、熟悉机器学习基本理论、数据分析常用方法论等相关理论知识,了解概率论与统计学基础; 4、有多类数据挖掘项目的实施落地经验,全链路打通并工程化部署,且能不断优化,进而产生业务效果; 5、自我驱动,能主动深入了解业务,适应业务变化;有良好的个人表达和组织沟通能力,推进项目开展。
-
工作职责: 1、负责保险数据中台整体架构设计与优化,负责主导数据中台/数据仓库/数据集市的模型架构设计; 2、构建数据治理体系,包括制定数据标准管理规范,元数据管理,主数据、数据质量监控等数据管理工作; 3、负责团队内数据建模方法体系的构建和理论指导、能够带领团队提高技术水平,培养团队人才; 4、理解并合理抽象业务需求,发挥数据价值,带领团队完成数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作。 任职资格: 1、**本科及以上学历,5年以上数据中台/数据仓库/数据平台相关经验,具备乙方或者大型实体企业内部的数据建模项目经验; 2、具备数据仓库和数据建模能力,熟悉建模理论与方法、维度建模、不同行业的模型主题域,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等; 3、具有数据仓库建模经验,熟悉IBM和teradata的FS-LDM的建模方法,并有金融企业数据中台/数据仓库建模实际落地经验; 4、个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责; 5、熟悉大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,对常见数仓技术体系:Kylin,Doris,Clickhouse,Hive,Spark,Flink,Kafka等,有一定实际研发经验。 6、具有良好的沟通能力和抗压能力,有项目协调/团队管理的经验。 加分项: 1、熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程; 2、熟悉保险行业相关业务,具备项目协调/团队管理的经验; 3、有阿里大数据生态Maxcompute、dataworks项目经验;
-
岗位职责: 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发; 3. 基于Java及Linkis开源框架的质量引擎开发; 4. 大数据资产应用的开发、部署、调优; 5. 数据稽核引擎开发,数据共享交换能力对接。 任职要求: 1. 本科及以上学历,计算机相关专业; 2. 3年以上互联网或软件行业工作经验,熟悉Linux环境;熟悉Linux和Python开发; 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可: 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发; 5. 熟悉数据治理理论概念、架构,有元数据、数据质量、数据标准、主数据等相关数据治理经验; 6. 有分布式相关项目(分布式存储/分布式计算/高性能并行计算/分布式cache)经验; 7. 对数据库的架构、扩展特点非常熟悉,能熟练进行SQL优化、集群部署、数据同步等。
-
岗位职责: - 负责AI大模型相关算法的设计与实现 - 利用算法改善微博用户产品体验 岗位要求: - 2年以上工作经验,有大型互联网行业从业经验优佳; - 机器学习、计算机、数学、统计学等相关专业本科及以上学历; - 在机器学习、数据挖掘、信息检索、推荐系统、计算广告等一个或多个领域有扎实的理论知识 - 熟练掌握常用深度学习框架,如Pytorch、TensorFlow等; - 熟悉Python/C++/Java中的一种或多种编程语言 - 熟悉Linux/Unix系统; - 熟悉Hadoop/Spark/Hive - 良好的逻辑思维能力,在复杂业务场景下能够分解和抽象问题,提供优秀、完整、可行的解决方案; - 工作认真,细心,有条理;积极性高,求知欲强;具有较强的沟通能力及团队合作精神 具备以下条件优先考虑: - 良好的英文文档及论文的阅读能力 - 气象专业或者熟悉天气大模型及原理,如Graphcast,华为盘古等