-
岗位职责: 1、数据收集与预处理:数据收集:负责从各种数据源(如数据库、文件系统、网络等)中收集数据,确保数据的全面性和多样性。数据预处理:对数据进行清洗、整理、转换和归约等操作,以提高数据的质量和可用性。这包括处理缺失值、异常值、重复值等问题,以及将数据转换为适合挖掘的格式。 2、数据挖掘与分析:数据挖掘:运用统计学、机器学习和数据挖掘技术,对预处理后的数据进行深入分析和挖掘,以发现模式和趋势。这包括分类、聚类、关联规则挖掘、回归分析、时间序列分析等多种方法。数据分析:通过数据挖掘技术发现数据中的隐藏模式、关联规则和趋势,提取有用的信息和知识。这些分析结果可以用于业务预测、市场趋势分析、用户行为研究等多个方面。 3、模型构建与优化:模型构建:根据业务需求和数据特点,选择合适的机器学习算法或深度学习模型,构建数据分析模型。这些模型可以用于分类、预测、推荐等多个场景。模型优化:对构建的模型进行评估和优化,提高模型的准确性和性能。这包括调整模型参数、选择更合适的算法、优化特征工程等方面。 4、数据可视化与报告:数据可视化:利用数据可视化工具(如Tableau、Power BI等)将挖掘和分析的结果以直观、易懂的方式呈现出来。这有助于用户更好地理解数据和分析结果,发现数据中的规律和趋势。报告撰写:撰写数据挖掘和分析报告,向决策者和相关人员解释和说明分析结果,并提出相应的建议和决策支持。这些报告可以包括数据摘要、分析结果、模型性能评估等多个部分。 任职要求: 1、教育程度:计算机、数学、统计学相关专业;本科及以上学历。 2、工作经验:具备5年及以上专业工作经验。 3、知识:熟悉常用数据统计、分析和建模方法;熟练掌握各类算法包括分类算法、聚类算法、关联规则挖掘、异常监测等;熟练使用Python、Sql等语言; 熟悉大数据技术栈和工具,如Hadoop、Flink、Kafka等。 4、技能:熟悉数据作业流程,包括指标体系定义、数据清洗ETL、数据分析挖掘、数据可视化与展示;熟悉各种类型的统计方法,比如概率分布、相关性、回归、随机过程等;能够使用机器学习算法建立数学模型;熟悉常用大数据计算引擎flink;熟悉TensorFlow、PyTorch等深度学习框架。 5、核心能力素质:分析判断能力、解决问题能力、执行能力、沟通能力、文字能力、抗压能力、业务知识、工作主动性、责任意识、团队协作、严谨细致、服务意识、敬业精神、正直诚信。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
工作职责: 1、充分理解业务需求及痛点,利用数据挖掘、数据分析、机器学习等技术挖掘业务价值,解决业务需求; 2、负责风控、定价等板块具体的数据挖掘项目,包括但不限于数据加工、数据分析、特征工程、构建模型等工作,并就对应项目阶段性成果进行汇报与分享,为业务发展提供支持; 3、参与构建用户全生命周期营销管理,构建以用户运营为核心的高质量的标签体系; 4、与业务团队构建良好的合作关系,积极沟通交流,推动合作项目成功。 任职资格: 1、3年以上数据分析/数据挖掘/机器学习等相关领域经验;**本科或以上学历;熟悉保险业务优先考虑; 2、熟练使用Python/Scala/Java中一门或多门语言;熟悉Spark/Hadoop/Hive等大数据处理技术,有阿里大数据生态Maxcompute、Dataworks、PAI项目经验的优先考虑;熟练使用Sql进行数据处理; 3、熟悉机器学习基本理论、数据分析常用方法论等相关理论知识,了解概率论与统计学基础; 4、有多类数据挖掘项目的实施落地经验,全链路打通并工程化部署,且能不断优化,进而产生业务效果; 5、自我驱动,能主动深入了解业务,适应业务变化;有良好的个人表达和组织沟通能力,推进项目开展。
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
一、职位基本信息 职位名称:大数据与 AI 产品行销经理 二、职位概述 您将作为连接产品(大数据与 AI 产品)、市场与客户的桥梁,全 面推动亚信数智一体化平台在运营商及各垂直行业的广泛应用与加 速落地,助力企业实现数字化转型。 三、主要职责 产品优势宣贯与市场推广 深入理解亚信大数据与 AI 产品的核心优势与技术能力,对各前台 事业部、合作伙伴及最终客户进行产品宣讲与培训,确保产品价值得 到广泛认知与认可。 制定并执行全面的市场推广策略,包括线上线下活动、行业展会、 研讨会等,提升产品知名度与品牌形象,吸引潜在客户关注。 推动产品加速落地 与各前台事业部紧密合作,深入了解客户需求与痛点,定制化产 品解决方案,推动产品在运营商及各垂直行业的快速应用与落地。 系统性负责产品从商机挖掘到订单签订的端到端流程管理,包括 需求收集、方案制定、商务谈判、合同签订等,确保产品从研发侧快 速走向客户侧,实现商业价值。 客户交流与商机拓展 负责编写面向客户的产品布道资料,包括产品白皮书、案例分享、 技术文档等,为销售与售前团队提供有力支持。 与销售、售前工程师共同进行客户拜访与交流,深入了解客户需 求,挖掘潜在商机,促进业务合作与拓展。 市场反馈与产品优化 定期收集客户反馈与市场动态,对产品性能、功能、用户体验等 方面进行评估与分析,为产品迭代与优化提供数据支持。 与研发团队保持密切沟通,将市场需求与客户反馈转化为具体的 产品改进建议,推动产品持续升级与创新。 四、任职要求 本科及以上学历,计算机科学、市场营销或相关领域背景优先。 至少 5 年 IT 产品行销经验,熟悉大数据与 AI 产品及其市场趋势。 具备出色的市场分析与策划能力,能够独立完成产品市场推广与 品牌建设。 优秀的沟通与团队协作能力,能够与各前台事业部、合作伙伴及 客户建立良好关系。 具备较强的学习能力和创新意识,能够快速适应市场变化与产品 迭代。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
职位描述 1、保障大数据相关计算和存储等核心系统的高可用,同时关注系统容量与稳定性; 2、深化系统可观测能力,提升监控智能化,帮助系统开发&团队快速定位故障; 3、推动提升服务的可靠性、可扩展性以及性能优化,保障系统SLA; 4、构建自动化运维方案,参与设计、实现能够保障线上大规模集群快速迭代和自动化管理的大数据运维平台; 5、提升大数据基础设施的资源利用率合理化,成本治理和分摊; 职位要求 1、本科以上学历, 计算机相关专业, 并有3年以上相关大数据SRE工作经验; 2、扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理; 3、熟悉一种或多种编程语言,例如 Go/Java/Shell; 4、具备系统化解决问题的能力,良好的沟通技巧和主人翁责任感; 5、熟悉Docker、K8S等容器化与云原生技术的架构与原理,对于常见的故障与问题有实践经验,具有分布式/大数据等系统经验优先(Hadoop/Spark/Flink 等);有腾讯云、aws等多云运维经验更佳! 6、具有算法思维,良好的数据结构和系统设计的能力者优先;