-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: 1、数据收集与预处理:数据收集:负责从各种数据源(如数据库、文件系统、网络等)中收集数据,确保数据的全面性和多样性。数据预处理:对数据进行清洗、整理、转换和归约等操作,以提高数据的质量和可用性。这包括处理缺失值、异常值、重复值等问题,以及将数据转换为适合挖掘的格式。 2、数据挖掘与分析:数据挖掘:运用统计学、机器学习和数据挖掘技术,对预处理后的数据进行深入分析和挖掘,以发现模式和趋势。这包括分类、聚类、关联规则挖掘、回归分析、时间序列分析等多种方法。数据分析:通过数据挖掘技术发现数据中的隐藏模式、关联规则和趋势,提取有用的信息和知识。这些分析结果可以用于业务预测、市场趋势分析、用户行为研究等多个方面。 3、模型构建与优化:模型构建:根据业务需求和数据特点,选择合适的机器学习算法或深度学习模型,构建数据分析模型。这些模型可以用于分类、预测、推荐等多个场景。模型优化:对构建的模型进行评估和优化,提高模型的准确性和性能。这包括调整模型参数、选择更合适的算法、优化特征工程等方面。 4、数据可视化与报告:数据可视化:利用数据可视化工具(如Tableau、Power BI等)将挖掘和分析的结果以直观、易懂的方式呈现出来。这有助于用户更好地理解数据和分析结果,发现数据中的规律和趋势。报告撰写:撰写数据挖掘和分析报告,向决策者和相关人员解释和说明分析结果,并提出相应的建议和决策支持。这些报告可以包括数据摘要、分析结果、模型性能评估等多个部分。 任职要求: 1、教育程度:计算机、数学、统计学相关专业;本科及以上学历。 2、工作经验:具备5年及以上专业工作经验。 3、知识:熟悉常用数据统计、分析和建模方法;熟练掌握各类算法包括分类算法、聚类算法、关联规则挖掘、异常监测等;熟练使用Python、Sql等语言; 熟悉大数据技术栈和工具,如Hadoop、Flink、Kafka等。 4、技能:熟悉数据作业流程,包括指标体系定义、数据清洗ETL、数据分析挖掘、数据可视化与展示;熟悉各种类型的统计方法,比如概率分布、相关性、回归、随机过程等;能够使用机器学习算法建立数学模型;熟悉常用大数据计算引擎flink;熟悉TensorFlow、PyTorch等深度学习框架。 5、核心能力素质:分析判断能力、解决问题能力、执行能力、沟通能力、文字能力、抗压能力、业务知识、工作主动性、责任意识、团队协作、严谨细致、服务意识、敬业精神、正直诚信。
-
岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 1.结合美团业务需求,在深入理解Elasticsearch内核的基础上,进行架构优化、性能提升以及新特性开发。 2.大规模ES集群运维能力建设,参与美团Elasticsearch产品的运营建设、日常维护,与业务持续提升系统的稳定性。 3.深度参与到Elasticsearch离线数据平台建设和架构演进。 4.跟踪业内发展动态和趋势,有选择地将业界实践引入到美团。 岗位基本需求 1.有扎实的编程基础,至少精通一门开发语言(java, c/c++, python,go)。 2.对新技术敏感,追求卓越,能快速学习并具备较强的技术领悟能力。 3.积极主动,沟通顺畅,有快速学习能力,乐于探索未知领域。 具备以下者优先 1. 对Elasticsearch/Hadoop/HBase/Rocksdb等开源产品,有云计算相关开发经验者优先。 2. 熟悉Spark,Flink,Hbase等大数据组件,有大型数据平台开发经验者优先。 3. 具有较大规模平台开发及运维治理经验优先。 岗位亮点 深度参与大规模基础架构产品的开发和运维治理,参与高性能、分布式存储系统的开发。 如果你不甘平庸、有志于用技术使得生活变得更美好,如果你对搜索怀有极大热情,乐于与一流技术团队共事,欢迎加入我们。
-
职务描述: 1. 负责榕树业务数据仓库的开发与优化 2. 基于Hive/Flink等平台建设离线/实时数据仓库 3. 负责数据模型的设计、etl的实施,etl性能优化以及相关技术问题解决 4. 负责面向业务的OLAP,报表,数据提取工具等开发工作 职位要求: 1. 熟悉大数据相关技术:Kafka/Flink/Clickhouse/Doris/Hadoop/Hive/Flume等; 2. 熟练使用 Java , Python, Go 语言中的一种或者多种; 3. 具备数据库系统理论知识, 掌握主流数据库管理和应用, 精通SQL; 4. 了解统计以数据挖掘,机器学习以及人工智能技术; 5. 有高性能分布式平台开发经验, 有金融行业经验优先。
-
1. 负责微博主站搜索业务,基于业务需求开展搜索数据分析、策略优化、策略上线等 2. 负责智能搜索引擎相关策略开发和落地应用,涵盖智搜问答、语义搜索、内容理解、物料挖掘等 3. 大规模数据挖据和分析,从海量数据中挖掘检索高质量微博与账号 4. 利用数据挖掘/统计学习的理论和方法解决实际问题 职位要求: 1. 熟练使用C++/Java/Python至少一门语言,熟悉Hadoop、Spark等数据处理技术 2. 理解搜索引擎架构与运行机制,熟悉常用的策略算法 3. 较强的技术攻关能力,能够跟进领域内最新技术研究成果,并结合应用场景快速实验和调优 4. 优秀的分析问题和解决问题的能力,对解决具有挑战性的问题充满激情 5. 良好的沟通能力,良好的团队合作精神
-
一、职位职责: 1、全面负责用户&商品画像和标签平台的架构设计与核心研发,确保平台的高可用性和扩展性; 2、深入理解公司各重点产品及业务需求,通过数据挖掘和分析,发掘潜在价值点,制定画像平台的长期发展策略,拓展画像在多场景下的应用; 3、领导画像产品的持续优化,推动画像标签应用平台的建设和技术创新,确保其在市场中的竞争力和领先性; 4、与跨部门团队紧密合作,推动用户画像技术在公司内部和外部生态系统中的推广和应用,提升公司整体数据应用能力。 二、职位要求: 1、精通Java语言及其生态系统,具备5年以上相关开发经验,能够在复杂场景下提供高效、稳定的解决方案; 2、深刻理解分布式系统、缓存、消息队列等技术原理,具备大规模分布式系统的设计和优化经验; 3、计算机基础扎实,对技术有极高的热情,具备解决复杂技术难题的能力,并愿意持续学习和应用新技术,应对业务挑战; 4、深入掌握大数据常用开源框架,如Hadoop、HBase、Flink、Spark、ClickHouse、Doris、Flink等,具备大规模数据处理的实战经验; 5、具备丰富的用户画像、数据应用开发经验,能够从业务角度出发,设计和实施数据驱动的解决方案; 6、有出色的领导力和团队合作能力,能够带领团队共同实现目标,并推动团队的技术成长和发展。
-
岗位职责: 1. 负责微博汽车等多条业务线相关服务端研发、性能优化等工作 2. Linux服务器系统安装及日常运维管理 3. 应用系统的环境发布:包括环境搭建、应用部署、维护、升级等工作 4. 持续对工程进行改进与优化,提高开发能力和效率。 5. 有熟悉Python,Golang,AIGC优先。 6. 本科及以上学历要求。 任职要求: 1、3-5年PHP后端开发经验,熟悉常用的后端开发框架和技术,了解框架的运行原理,熟悉Yaf、CI等框架。 2、熟悉MySQL、Mongodb等数据库的设计和优化,具备良好的SQL编程能力。 3、熟练掌握redis、Elasticsearch、kafka等中间件技术。 4、对于python和go语言有一定的了解,能快速响应不同产品需求下对于开发语言的切换要求。 5、熟悉Linux操作系统,具备服务器部署、配置和监控经验,熟悉docker、k8s者优先。 6、熟悉大数据相关技术,如Hadoop、Spark等优先。 7、具备良好的编程习惯和代码规范,熟悉版本控制工具如Git。 8、具备良好的团队合作精神和沟通能力,能够与产品、前端等团队紧密合作。 9、喜欢专研、对新技术和开发方法有持续的学习和探索欲望,能够快速适应项目需求和技术变化。
-
工作职责: - 基于机器学习的广告竞价排序机制优化,优化用户体验/排序效果 - 广告冷启动策略以及转化率预估,以及售卖机制设计,定价策略优化等 - 运用数据挖掘和机器学习方法,深入挖掘海量房产数据,负责房屋价格预估、客源意愿挖掘、智能匹配等算法 - 参与特征工程、召回、排序等模型持续优化和研究,配合工程持续优化线上模型,持续提升产品体验和商业价值 任职资格: - 两年以上数据挖掘与机器学习应用经验,有推荐、广告/营销、搜索、最优化问题等领域丰富的实战经验 - 对深度模型和常用机器学习算法(如:NN、树模型、LR、FM等)有较好的理解及实践经验 - 具备很强的工程及编码能力,能独立实现和调优算法,熟练掌握Python、java、Shell、Go、Scala等中的一种语言 - 有海量数据处理和并行计算开发经验,熟悉Hadoop、Storm、Spark等技术者优先 - 责任心强,有快速学习的能力;目标导向,善于结合具体业务场景,灵活的分析与解决有挑战性的问题 - 有个人技术博客、活跃在各技术社区、有数据挖掘/机器学习相关paper的更佳