-
工作职责: 1、充分理解业务需求及痛点,利用数据挖掘、数据分析、机器学习等技术挖掘业务价值,解决业务需求; 2、负责风控、定价等板块具体的数据挖掘项目,包括但不限于数据加工、数据分析、特征工程、构建模型等工作,并就对应项目阶段性成果进行汇报与分享,为业务发展提供支持; 3、参与构建用户全生命周期营销管理,构建以用户运营为核心的高质量的标签体系; 4、与业务团队构建良好的合作关系,积极沟通交流,推动合作项目成功。 任职资格: 1、3年以上数据分析/数据挖掘/机器学习等相关领域经验;**本科或以上学历;熟悉保险业务优先考虑; 2、熟练使用Python/Scala/Java中一门或多门语言;熟悉Spark/Hadoop/Hive等大数据处理技术,有阿里大数据生态Maxcompute、Dataworks、PAI项目经验的优先考虑;熟练使用Sql进行数据处理; 3、熟悉机器学习基本理论、数据分析常用方法论等相关理论知识,了解概率论与统计学基础; 4、有多类数据挖掘项目的实施落地经验,全链路打通并工程化部署,且能不断优化,进而产生业务效果; 5、自我驱动,能主动深入了解业务,适应业务变化;有良好的个人表达和组织沟通能力,推进项目开展。
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
一、职位职责: 1、全面负责用户&商品画像和标签平台的架构设计与核心研发,确保平台的高可用性和扩展性; 2、深入理解公司各重点产品及业务需求,通过数据挖掘和分析,发掘潜在价值点,制定画像平台的长期发展策略,拓展画像在多场景下的应用; 3、领导画像产品的持续优化,推动画像标签应用平台的建设和技术创新,确保其在市场中的竞争力和领先性; 4、与跨部门团队紧密合作,推动用户画像技术在公司内部和外部生态系统中的推广和应用,提升公司整体数据应用能力。 二、职位要求: 1、精通Java语言及其生态系统,具备5年以上相关开发经验,能够在复杂场景下提供高效、稳定的解决方案; 2、深刻理解分布式系统、缓存、消息队列等技术原理,具备大规模分布式系统的设计和优化经验; 3、计算机基础扎实,对技术有极高的热情,具备解决复杂技术难题的能力,并愿意持续学习和应用新技术,应对业务挑战; 4、深入掌握大数据常用开源框架,如Hadoop、HBase、Flink、Spark、ClickHouse、Doris、Flink等,具备大规模数据处理的实战经验; 5、具备丰富的用户画像、数据应用开发经验,能够从业务角度出发,设计和实施数据驱动的解决方案; 6、有出色的领导力和团队合作能力,能够带领团队共同实现目标,并推动团队的技术成长和发展。
-
岗位职责: 1、数据收集与预处理:数据收集:负责从各种数据源(如数据库、文件系统、网络等)中收集数据,确保数据的全面性和多样性。数据预处理:对数据进行清洗、整理、转换和归约等操作,以提高数据的质量和可用性。这包括处理缺失值、异常值、重复值等问题,以及将数据转换为适合挖掘的格式。 2、数据挖掘与分析:数据挖掘:运用统计学、机器学习和数据挖掘技术,对预处理后的数据进行深入分析和挖掘,以发现模式和趋势。这包括分类、聚类、关联规则挖掘、回归分析、时间序列分析等多种方法。数据分析:通过数据挖掘技术发现数据中的隐藏模式、关联规则和趋势,提取有用的信息和知识。这些分析结果可以用于业务预测、市场趋势分析、用户行为研究等多个方面。 3、模型构建与优化:模型构建:根据业务需求和数据特点,选择合适的机器学习算法或深度学习模型,构建数据分析模型。这些模型可以用于分类、预测、推荐等多个场景。模型优化:对构建的模型进行评估和优化,提高模型的准确性和性能。这包括调整模型参数、选择更合适的算法、优化特征工程等方面。 4、数据可视化与报告:数据可视化:利用数据可视化工具(如Tableau、Power BI等)将挖掘和分析的结果以直观、易懂的方式呈现出来。这有助于用户更好地理解数据和分析结果,发现数据中的规律和趋势。报告撰写:撰写数据挖掘和分析报告,向决策者和相关人员解释和说明分析结果,并提出相应的建议和决策支持。这些报告可以包括数据摘要、分析结果、模型性能评估等多个部分。 任职要求: 1、教育程度:计算机、数学、统计学相关专业;本科及以上学历。 2、工作经验:具备5年及以上专业工作经验。 3、知识:熟悉常用数据统计、分析和建模方法;熟练掌握各类算法包括分类算法、聚类算法、关联规则挖掘、异常监测等;熟练使用Python、Sql等语言; 熟悉大数据技术栈和工具,如Hadoop、Flink、Kafka等。 4、技能:熟悉数据作业流程,包括指标体系定义、数据清洗ETL、数据分析挖掘、数据可视化与展示;熟悉各种类型的统计方法,比如概率分布、相关性、回归、随机过程等;能够使用机器学习算法建立数学模型;熟悉常用大数据计算引擎flink;熟悉TensorFlow、PyTorch等深度学习框架。 5、核心能力素质:分析判断能力、解决问题能力、执行能力、沟通能力、文字能力、抗压能力、业务知识、工作主动性、责任意识、团队协作、严谨细致、服务意识、敬业精神、正直诚信。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: 1、负责挖掘与分析各类业务数据建立用户画像,并通过算法模型提升风控和反欺诈能力,以数据动风险决策,并提升决策效率; 2、挖掘业务需求,基于对机器学习的理解,定义不同场景下的数据解决方案,并选择有效的算法解决可能遇到的数据、场景相关问题,提升模型的性能和稳定性; 3、配合开发人员和大数据工程师完成模型的上线运行,并进行模型的监控、维护和调整; 4、跟踪模型或方案产生的业务影响,与各业务部门紧密合作,推动数据化决策。 任职资格: 1、**本科及以上学历,统计学、数学、经济学、金融等相关专业,并在数据挖掘相关工作上有1-3年工作经验,金融信贷行业的工作经验更佳。 2、扎实的机器学习和数据挖掘理论和技术基础; 3、有一定的PYTHON 和 SQL使用能力,熟悉常用数据统计、分析和建模方法; 4、较好的团队合作精神和沟通能力; 5、优秀的分析问题和解决问题的能力,对解决具有挑战性的问题充满激情; 6、有一定英文沟通能力。
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。