-
工作职责: 1、负责贝壳Hermes实时计算平台的开发和维护 2、参与Flink等实时技术调研及框架源码改造开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
职位职责: 团队介绍:我们是「豆包视频生成模型-PixelDance」团队,我们专注于开发视频生成模型,解决视频生成的关键问题,包括但不限于高动态性视频生成、内容一致性保障。构建行业领先的视频基础模型,引领技术的未来潮流。视频生成工程团队的工作涉及到模型生产的全周期流程,在这里,你有机会参与到模型的数据生产、训练加速、推理加速、服务部署的每个环节。同时你将接触到最先进的视频生成技术、海量的数据、大规模的集群,我们期待你能够和我们的模型一同Scale UP。 1、视频处理端到端性能优化:负责视频数据处理的性能提升,包括但不限于视频编解码优化、蒸馏、量化、Kernel优化;对异构资源进行合理分配和优化,充分利用各类硬件资源提升视频数据处理能力,提高资源利用率以应对海量视频数据的挑战; 2、数据层处理平台化建设:参与视频数据处理平台的设计与建设,制定平台的技术架构和发展规划;持续优化平台功能,确保平台的稳定性、可靠性和可扩展性,满足不断增长的业务需求; 3、视频数据生产管理:统筹视频数据的采集、整理、存储等生产环节,建立高效的数据生产流程;确保视频数据的质量和准确性,对数据进行严格的审核和校验; 4、算法优化与创新:不断探索和研究新的视频数据处理算法和技术,对现有算法进行优化和改进;结合人工智能、机器学习等先进技术,提升视频数据的分析和处理能力,为业务提供更有价值的洞察。 职位要求: 1、计算机及相关专业,本科及以上学历,良好的沟通和团队协作能力; 2、精通Python或Golang等至少一种编程语言; 3、熟练使用GPU或NPU高性能编程技术为模型训练或推理加速,例如:CUDA、CUDNN、CUTLASS、Triton等; 4、熟练使用开源推理加速工具为模型加速,例如:TensorRT-LLM、vLLM、TVM、torch.compile等,并深入理解背后原理; 5、具备以下一个或多个能力者优先: 1)具有数据处理相关经验,熟悉图像或视频数据处理方法,了解CV、VLM和Diffusion Model相关算法; 2) 熟悉大数据分布式处理框架Spark、Flink、Hadoop、Ray者优先; 3)熟练使用DALI、OpenCV、FFmpeg等图像处理工具。
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1、数据收集与预处理:数据收集:负责从各种数据源(如数据库、文件系统、网络等)中收集数据,确保数据的全面性和多样性。数据预处理:对数据进行清洗、整理、转换和归约等操作,以提高数据的质量和可用性。这包括处理缺失值、异常值、重复值等问题,以及将数据转换为适合挖掘的格式。 2、数据挖掘与分析:数据挖掘:运用统计学、机器学习和数据挖掘技术,对预处理后的数据进行深入分析和挖掘,以发现模式和趋势。这包括分类、聚类、关联规则挖掘、回归分析、时间序列分析等多种方法。数据分析:通过数据挖掘技术发现数据中的隐藏模式、关联规则和趋势,提取有用的信息和知识。这些分析结果可以用于业务预测、市场趋势分析、用户行为研究等多个方面。 3、模型构建与优化:模型构建:根据业务需求和数据特点,选择合适的机器学习算法或深度学习模型,构建数据分析模型。这些模型可以用于分类、预测、推荐等多个场景。模型优化:对构建的模型进行评估和优化,提高模型的准确性和性能。这包括调整模型参数、选择更合适的算法、优化特征工程等方面。 4、数据可视化与报告:数据可视化:利用数据可视化工具(如Tableau、Power BI等)将挖掘和分析的结果以直观、易懂的方式呈现出来。这有助于用户更好地理解数据和分析结果,发现数据中的规律和趋势。报告撰写:撰写数据挖掘和分析报告,向决策者和相关人员解释和说明分析结果,并提出相应的建议和决策支持。这些报告可以包括数据摘要、分析结果、模型性能评估等多个部分。 任职要求: 1、教育程度:计算机、数学、统计学相关专业;本科及以上学历。 2、工作经验:具备5年及以上专业工作经验。 3、知识:熟悉常用数据统计、分析和建模方法;熟练掌握各类算法包括分类算法、聚类算法、关联规则挖掘、异常监测等;熟练使用Python、Sql等语言; 熟悉大数据技术栈和工具,如Hadoop、Flink、Kafka等。 4、技能:熟悉数据作业流程,包括指标体系定义、数据清洗ETL、数据分析挖掘、数据可视化与展示;熟悉各种类型的统计方法,比如概率分布、相关性、回归、随机过程等;能够使用机器学习算法建立数学模型;熟悉常用大数据计算引擎flink;熟悉TensorFlow、PyTorch等深度学习框架。 5、核心能力素质:分析判断能力、解决问题能力、执行能力、沟通能力、文字能力、抗压能力、业务知识、工作主动性、责任意识、团队协作、严谨细致、服务意识、敬业精神、正直诚信。
-
岗位职责: 1. 负责长音频业务数据指标体系建设和维护、核心指标的梳理和监控,数据看板的开发和维护工作; 2. 快速响应数据需求,通过现有的数据产品和提数平台获取数据并输出分析报告; 3. 通过数据专题分析,对业务问题进行深入研究,有效指导运营决策、产品方向。 岗位要求: 1. 三年或以上互联网数据运营或数据分析从业经历,统计、数学、计算机专业等本科以上学历; 2. 具有扎实的统计学、数据分析、数据挖掘基础。熟练掌握HIVE、SQL等相关数据提取工具技能,可熟练通过SQL独立完成相应数据分析需求,熟练掌握至少一种数据分析工具(SPSS、Python、R等),有一定的编程功底; 3. 有丰富的跨团队、部门的项目资源整合能力,能够独立开展项目。
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
云计算高级专家岗位要求 1.本科及以上学历,计算机相关专业,年龄40周岁及以下,有自驱力,敢于突破。 2.具有云计算相关的高级认证资格(如AWS、阿里云、华为云、天翼云专业级认证等),熟练掌握多种云计算平台的架构和操作,熟悉云计算技术的最新发展趋势,具有丰富的架构设计和方案实施经验。 3.具有10年以上相关工作经验,熟悉云计算架构、服务器、存储、网络、安全、虚拟化、分布式等技术,熟练掌握多种编程语言,具有大规模虚拟化、容器化部署和大型项目实战经验。 4.具有较强的团队管理、业务理解和沟通能力,能够快速识别并解决系统故障和性能问题,提出创新的解决方案,能够与业务部门紧密合作,理解业务需求并提供解决方案,带领团队完成云计算相关项目和任务。
-
岗位职责: 1、深入分析玩家数据,了解玩家行为和偏好,为产品迭代和新功能开发提供数据支持 2、开发和维护数据仪表板,提供实时游戏性能指标和KPI跟踪 3、使用统计学方法和机器学习模型来预测游戏趋势,识别用户增长和留存机会 任职要求: 1、本科以上学历,具备扎实的数据分析和建模相关理论知识,统计学、数学、计算机相关专业优先 2、五年以上数据分析相关工作经验,有丰富的数据驱动业务的实战经验 3、精通Excel,熟悉SQL和至少一种数据分析工具(如Python、R) 4、熟悉Tableau/PowerBI等可视化工具 5、对游戏行业的商业模式、市场趋势和玩家心理有深刻理解 6、出色的分析思维和问题解决能力,能够处理复杂的数据集并提出洞察 7、强大的沟通技能,能够将复杂的分析结果转化为易于理解的报告和展示 8、有数据建模或机器学习项目经验者优先
-
职责描述:1.建设基于电销场景的业务全链路实时监控看板、可视化数据驾驶舱以及自动预警机制(1)BI数据信息清洗,及时准确提供各类销售报表,并对于输出信息不断优化(2)管理基础信息及共享平台的日常运维,发现异常及时反馈并沟通解决;进行月、季、年的分析总结,并反馈给内部各协助部门(3)跟进业务现状定期制定相应应对计划(4)销售大数据分析,从数据背后发掘业务待优化和提升点2、数据运维监控(1)根据具体业务需要,针对业务运营数据进行分析和深度挖掘,提供有价值的专项分析报告(2)针对业务的属性和模式,有效监控关键指标,及时发现数据问题3、数据运维优化,对店铺运营提出创新的分析观点(1)根据业务部门数据分析、统计工作,搭建电商数据分析指标体系及报表体系,及时优化(2)理解业务方向和战略,建立分析模型,为业务运营提供决策支持4、完成上级安排的需求工作任职要求:1. *****本科及以上学历,数学、统计、计算机、金融等相关专业;211或985优先2. 有2年以上数据分析或BI工作经验,信用卡行业经验优先;3. 至少精通SQL/power bi/Python/SAS其中之一,并能运用上述工具独立完成数据分析工作;4. 精通常用的数据分析方法,能快速的构建问题框架和分析框架;5. 良好的沟通能力和团队协助能力;
-
岗位职责: 1、带领部门数据中台数仓开发成员,负责太保寿险内部数仓各层逻辑模型的设计、建设与维护,构建可扩展的数据仓库公共模型; 2、负责数据处理流程的优化、定位并解决有关技术问题; 3、对接公司个险、团险、运营等业务团队,协调满足业务团队对于各维度数据的需求; 4、参与制定公司与事业部数仓规划、数据研发规范、以及数据治理与指标的管理方案。 任职要求: 1、5年以上数据仓库工作经验,熟悉数据仓库模型设计方法论,有实际搭建公司层级数仓的经验; 2、精通数据仓库有关领域知识,例如元数据管理、主数据管理、ETL工作流、SQL性能调优等; 3、精通SQL、熟悉Shell、具备海量数据加工经验; 4、熟悉Flink或者阿里Blink等实时计算框架,并有实际实时数仓开发经验; 5、有阿里云数据中台产品DataWorks、MaxCompute工作经验优先、熟悉Hive/Flink/Spark等开源大数据工具优先; 6、有较强的问题抽象、概括、总结能力,独立思考并能以产品的思路提出解决方案; 7、具有较好的沟通理解能力,团队协作和创新能力; 8、有互联网公司或者保险金融企业数仓建设经验者优先; 9、有一定团队管理经验。
-
美团骑行事业部在全国各个城市开展美团单车、电单车业务,提供绿色、便捷的共享出行服务,是美团出行板块重要的组成部分。我们力求为城市可持续发展提供低碳智能的解决方案,通过技术创新和硬件升级,不断优化全流程骑行体验,为低碳出行提供更好的服务。其中,美团单车旨在为城市居民提供通勤接驳服务,满足用户短途接驳出行需求;美团电单车则满足用户中短途多场景低碳出行需求。 我们有开放的工作氛围,也有充满韧劲和创造力,心系低碳出行的伙伴。加入我们,一起为用户创造更好的出行体验。 岗位职责 1. 负责美团骑行业务数据仓库的建模和ETL开发工作,为单车和电单车精细化运营提供数据支持 2. 提高数据时效性,优化数据生产链路,参与骑行实时数仓建设工作 3. 持续数据治理,以完善骑行数据资产管控能力,提升数据质量,降低数据成本 4. 深入理解业务逻辑,探索数据应用,让数据赋能业务; 岗位基本需求 1. 计算机相关专业本科及以上学历,3年以上数据仓库相关经验 2. 熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,精通3NF和多维数据模型设计 3. 具备大型数据仓库架构设计、模型设计、ETL设计的相关经验,具备海量数据处理、性能调优经验 4. 熟悉大数据相关计算开源框架及组件,包括但不限于Spark、Flink、Hive、Hadoop、Doris等; 5. 具备较强的业务理解能力和团队协作沟通能力 具备以下者优先 1. 海量数据数仓建模经验; 2. 实时数仓建设经验; 岗位亮点 1. PB级数据规模,日订单千万量级 2. 业务场景复杂度高挑战大,实践先进的数仓建设方法论
-
岗位职责 1、负责数据类项目实施方案编写; 2、负责项目实施过程中项目进度的管理,并定期给甲方及公司汇报; 3、负责项目现场的沟通协调; 4、项目组人员的工作安排; 5、评估项目中数据库设计、SQL的合理性,并提出改进意见; 6、能够解决项目中常见的技术问题; 7、负责项目验收。 任职要求: 1、具有5年以上项目管理经验; 2、掌握开发信息系统的综合技术知识(硬件、软件、网络、数据库); 3、掌握主流数据建模工具软件和方法; 4、熟练掌握ORACLE开发技术,熟练掌握PLSQL及存储过程开发,熟悉常用函数,具有ORACLE、Mysq、Postgresql、Mongodb、FastDfs、国产数据库开发经验,有石油石化行业经验者优先; 5、精通传统的数据仓库技术及大数据仓库技术,如hive、Hbase等 6、了解各类非结构化数据库、实时数据库; 7、具有大学本科及以上学历,计算机或相关学科专业。
-
主要职责: 1. 负责媒体业务的大数据平台的建设工作,包括埋点、收集、加工、应用全流程的建设和迭代工作; 2. 负责数仓建设,制定数据规范,完善数据治理,提升数据产出效率和质量; 3. 对接业务方,为业务服务提供高效率、高可用的数据服务/数据产品; 4. 培养团队成员,组织技术分享,促进团队成员进步。 岗位要求 1. 计算机相关专业本科及以上学历,5年以上大数据方向工作经验; 2. 熟悉数据仓库建模,有实际的实时/离线数仓建模经验,具备一定的Java研发能力; 3. 深入了解大数据技术栈,熟悉spark、flink、hive等技术; 4. 熟悉springboot及相关技术; 5. 良好的沟通能力,团队意识以及跨团队协作能力; 6. 有团队管理经验优先。
-
工作职责 1. 基于业务需求,定义员工核心属性和画像标签,通过各类数据实现画像标签的落地和应用闭环。 2. 定义画像标签含义及计算逻辑,探索集团内外结构化与非结构化数据,进行落地可行性评估,数据包括但不限于系统数据、埋点日志、文本、外域数据等。 3. 定义画像标签准确度评估方式,包括但不限于通过应用效果评估、一线反馈闭环等方式,持续验证和提升画像标签的准确度。 4. 持续挖掘业务应用场景,协同下游产品、业务,使员工画像数据标签能够得到全面应用。 任职要求 1. 有3年以上在用户画像、员工画像、用户增长营销/运营方向相关工作经验,有过画像分析项目落地经验者优先。 2. 计算机、数学、统计等相关专业本科及以上学历,具备统计/机器学习/深度学习领域的知识和能力基础,有数据科学、大模型相关工作经验者尤佳。 3. 熟悉SQL操作,可以使用python、sql、hive等数据处理工具进行数据分析处理。 4. 具备业务视野和数据敏感度,能够快速熟悉业务领域、敏锐地捕捉业务核心和数据价值。 5. 有良好的信息提炼与整合能力,能熟练制作美观、专业、可读的汇报材料。 6. 具备优秀的沟通和统筹协调能力,对工作有高度的自驱力、责任心、执行力,有强烈的好奇心,乐于接受挑战。