-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
【职位诱惑】 - 腾讯系团队,扁平管理,六险一金; - 能深度参与互联网金融公司业务架构以及devops工具链全流程建设; - 能学习到许多金融、证券行业知识。 【岗位职责】 1.保障平台登陆和行情业务的稳定性,和研发一起对事故进行快速响应,并建立机制提升处理效率; 2.参与建设运维工具和平台, 推进运维自动化; 3.通过持续的全方位数据运营(包括历史事故、资源利用率等),找到系统薄弱点并改进优化; 4.处理告警,使告警得到良好处置; 5.操作db重要变更,包括数据恢复,数据备份检查,alter操作,数据迁移; 6.指导研发更好的使用平台工具。 【职位要求】 1.本科及以上学历, 计算机相关专业, 并有两年以上相关领域工作经验; 2.扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理; 3.熟悉一种或多种编程语言,例如Python/Go/Shell; 4.具备系统化解决问题的能力,良好的沟通技巧和主人翁责任感; 5.具有相关计算/分布式/大数据等系统经验优先(Nginx/Kubernetes/Docker/redis/mysql 等); 6.具有算法思维,良好的数据结构和系统设计的能力者优先。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
高级组长(需要管理经验): 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。 高级骨干: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备5年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
职位职责: 1、负责生活服务业务效率平台等方向大数据应用能力建设,包含数据专题分析、数据服务、数据诊断等; 2、针对业务场景梳理数据信息,提出一站式的数据解决方案; 3、负责数据产品架构设计和后端开发,设计和实现Web后端和关键数据服务; 4、负责数据产品的功能迭代和性能优化,提高效率,优化流程。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、扎实的计算机基础,熟悉Golang语言优先,对技术有热情,愿意不断尝试新技术和业务挑战; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、熟练使用ClickHouse、Presto、Doris等MPP查询引擎,具备数据组件化开发的能力,具备较好的数据分析意识,有良好的协作能力。
-
职位职责: 1、负责大数据方向相关数据内容,数据产品的测试和质量保障; 2、根据需求文档、设计文档分析测试点、确定测试范围、制定测试方案和策略、编写测试计划及用例; 3、根据业务逻辑编写测试SQL脚本,独立完成项目中数据指标,服务的测试,保证数据质量和稳定性; 4、负责规划、设计、实施监控每日数据产品的质量情况,提前检测发现数据的异常; 5、编写自动化测试脚本提升测试效率。 职位要求: 1、计算机及软件相关专业本科以上学历; 2、3年以上大数据相关平台、产品、应用测试经验, 有Hadoop、hbsae、Oracle等大规模数据监控,处理测试经验者优先; 3、精通一门脚本语言,Python 或 shell,解决复杂问题和编写自动测试工具和系统的能力; 4、熟悉常见软件测试流程、方法、系统,有敏捷团队经验者尤佳; 5、参与测试效果评估和软件质量核查,通过测试相关流程、策略、方法和工具等创新,提升测试的质量和效率; 6、对互联网质量保证领域有强烈的兴趣,有互联网或数据测试开发经验优先; 7、有性能、安全、白盒测试等专业测试领域经验者优先,能主动进行技术钻研; 8、性格开朗乐观,积极主动,善于沟通,具有很强团队协作能力。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先