-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
职位职责: 1、在对产品增长业务理解的基础上,负责增长相关数据管理工作,跟进数据采集、核心指标构建及看板搭建和维护; 2、在数据建设的基础上进行线索增长分析,并进行线索质量评估,分析输出相应的优化策略,并跟进增长动作落地及效果评估; 3、主动进行产品功能及应用场景分析探查,通过跟踪和监控重点数据,发现潜在的问题与机会,给出数据支持、分析报告、问题解决方案建议,为业务决策提供数据支撑。 职位要求: 1、本科及以上学历,计算机科学、数理统计、数学、经济学等相关专业优先; 2、具备一定的数据分析工作经验,有过ToB品相关增长分析、具备一定行业背景、深度参与过新业务增长者加分; 3、熟练掌握SQL、Python/R等数据分析工具和编程语言,熟悉Hadoop、Hive、Flink等大数据相关技术应用,能够高效地进行数据提取、清洗和分析; 4、熟练掌握数理统计方法,逻辑性好;有一定数据挖掘的基础,掌握线索评估的具体流程和方法,并能灵活运用这些方法进行线索增长分析; 5、具备严谨的逻辑思维能力和强烈的好奇心,能够深入挖掘数据背后的价值;具备良好的沟通能力和团队合作精神,能够与不同部门的人员协作完成线索增长和评估任务; 6、有较强的学习能力和自我驱动力,能够快速适应不断变化的业务需求和数据分析技术;敢于表达观点,能独立负责具体项目完整分析,拿结果。
-
岗位职责: 1、负责公司app后端服务的核心系统开发 2、负责公司app后端服务的日常维护、线上问题排查、性能问题优化等工作 任职条件: 1、5年以上java开发经验,有互联网相关行业项目开发经验 2、扎实的数据结构与算法基础、熟练掌握java多线程技术,对线程同步、线程池、锁有实际使用经验 3、熟练掌握spring、springmvc、springcloud、mybatis、rocketmq、redis、zookeeper等主流框架 4、熟悉mysql数据库以及sql调优、了解doris、clickhouse、hadoop等大数据开源框架 5、熟悉linux平台的开发、生产环境部署、熟练掌握基本的shell命令 6、熟练掌握maven、git等主流构建、代码管理工具 7、至少熟悉thrift、dubbo、spring cloud等分布式服务框架中的一种,有实际使用经验 8、有复杂系统的设计能力、有系统负责人经验优先 9、有高并发系统研发与性能优化经验优先
-
岗位要求: 1、教育背景要求:本科及以上; 2、技能要求: 1)需求理解和解决方案设计能力; 2)客户沟通与引导能力; 3)销售项目运作能力; 3、知识要求: 1)熟悉云服务产品和HCS解决方案; 2)具备客户数字化转型或云架构设计,OpenStack、K8S、Hadoop、数据库、AI等专业知识。 岗位职责: 岗位职责: 1、负责对腰部各行业成熟场景化解决方案以及产品专项进行专项拓展,对接与培育生态伙伴,发展开发者生态创新能力,包括项目管道管理,技术方案输出、竞争分析、商务报价、客户交流、POC测试、生态赋能等相对确定的工作,达成3-N的复制规模与数量要求; 2、作为销售项目解决方案的支撑者,负责成熟场景解决方案答标及POC支持、demo演示、培训赋能等相对确定活动,对销售项目落单结果负责; 3、根据解决方案拓展或服务伙伴管理规则,开展服务解决方案或服务伙伴的拓展与运营工作,做为服务解决方案和服务生态发展建设的使能者和支撑者,通过合作流程平台建设及优化、解决方案与生态资产管理及运营、合作营销活动等,支撑部门业务目标达成。
-
岗位职责: 负责大数据平台的技术方案设计、推动大数据平台的架构落地并持续完善、同时负责信贷大数据相关应用的开发及实施 岗位要求: 1)本科及以上学历,5年以上相关工作经验,35周岁以下,XX大学XX学院若写成XX大学视为简历造假; 2)具备DW/BI架构体系的建设经历并熟悉Hadoop生态圈; 3)熟悉了解shell、java、python、sql等计算机技术知识,具备极强的数据挖掘和分析能力。 4)具备金融或科技行业大数据项目开发经验者优先。
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: - 负责AI大模型相关算法的设计与实现 - 利用算法改善微博用户产品体验 岗位要求: - 2年以上工作经验,有大型互联网行业从业经验优佳; - 机器学习、计算机、数学、统计学等相关专业本科及以上学历; - 在机器学习、数据挖掘、信息检索、推荐系统、计算广告等一个或多个领域有扎实的理论知识 - 熟练掌握常用深度学习框架,如Pytorch、TensorFlow等; - 熟悉Python/C++/Java中的一种或多种编程语言 - 熟悉Linux/Unix系统; - 熟悉Hadoop/Spark/Hive - 良好的逻辑思维能力,在复杂业务场景下能够分解和抽象问题,提供优秀、完整、可行的解决方案; - 工作认真,细心,有条理;积极性高,求知欲强;具有较强的沟通能力及团队合作精神 具备以下条件优先考虑: - 良好的英文文档及论文的阅读能力 - 气象专业或者熟悉天气大模型及原理,如Graphcast,华为盘古等