-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
职位职责: 1、负责大数据方向相关数据内容,数据产品的测试和质量保障; 2、根据需求文档、设计文档分析测试点、确定测试范围、制定测试方案和策略、编写测试计划及用例; 3、根据业务逻辑编写测试SQL脚本,独立完成项目中数据指标,服务的测试,保证数据质量和稳定性; 4、负责规划、设计、实施监控每日数据产品的质量情况,提前检测发现数据的异常; 5、编写自动化测试脚本提升测试效率。 职位要求: 1、本科以上学历,计算机及软件相关专业; 2、3年以上大数据相关平台、产品、应用测试经验,有Hadoop、HBsae、Oracle等大规模数据监控,处理测试经验者优先; 3、精通一门脚本语言,Python或Shell,解决复杂问题和编写自动测试工具和系统的能力; 4、熟悉常见软件测试流程、方法、系统,有敏捷团队经验者尤佳; 5、参与测试效果评估和软件质量核查,通过测试相关流程、策略、方法和工具等创新,提升测试的质量和效率; 6、对互联网质量保证领域有强烈的兴趣,有数据测试开发经验优先;有性能、安全、白盒测试等专业测试领域经验者优先,能主动进行技术钻研;性格开朗乐观,积极主动,善于沟通,具有很强的团队协作能力。
-
工作职责 1、负责服务器和存储硬件系统的新技术及架构研究、路标规划及引入管理; 2、负责服务器和存储硬件系统的测试与调优,提高稳定性及性能; 3、负责分析、定位及解决服务器和存储运行中出现的各种硬件问题; 4、负责审核各专业公司服务器和存储选型和配置需求的合理性判断和提供优化意见,推动标准机型及部件归一化; 5、制定硬件技术相关的标准及规范; 6、持续跟踪业界领导厂商、技术发展趋势,输出必要的技术分析报告。 任职要求 1、计算机或相近专业本科及以上学历;3年以上相关工作经验; 2、熟悉服务器硬件技术和主流产品,熟悉云产品底层硬件架构,熟悉软件功能硬件化解决方案;熟悉服务器硬件系统的测试与调优;熟悉服务器硬件故障分析方法及解决方案;熟悉与PC服务器关联密切的网络、存储及IDC等技术;了解云平台KVM、Docker、Ceph、Hadoop等主流应用的技术方案; 3、具体行业视野,对行业发展趋势有敏锐的洞察力及创新意识,对新技术研究有深入的好奇心,对服务器新产品、新技术有跟踪研究能力; 4、具备互联网公司部件研究经验、服务器底层硬件研发及定制化开发经验优先考虑。
-
岗位职责: 1、负责公司内部自研中间件、公共组件、技术框架以及其它自研技术系统的质量保障工作。 2、独立参与产品需求和技术评审,设计并执行测试方案和测试用例,与各方密切配合一同推动项目进度。 3、运用各种白盒、黑盒测试技术,从功能、性能、可靠性、兼容性等全方位保障被测对象的质量。 4、编写自动化测试工具,探索新的测试方法,提高测试效率与质量。 5、完成组内安排的其它工作。 岗位要求: 1、本科及以上学历,计算机、通信等相关专业,3年以上测试开发或开发经验。 2、掌握全面计算机基础知识,包括:操作系统原理,计算机网络技术,数据结构,设计模式,计算机组成原理,软件工程等。 3、熟练掌握Java,可以独立review各类Java程序,编写Java测试代码,有java单元测试经验者优先。 4、熟悉各种常见的中间件、技术框架、网络通信协议,以及对应的优缺点和使用过程中存在的风险,包括但不限于:redis,hadoop,es,rabbitmq,palsur,grpc,istio。 5、精通测试流程,能把控整体项目进度和开发质量。掌握各种白盒黑盒测试方法,能独立完成性能、可靠性、兼容性等专项测试。 6、拥有较强的学习能力和问题解决能力,有良好的团队沟通和协作能力,较强的自驱力、执行力强、工作责任心强,以及有较强的抗压能力。 7、热爱技术,有钻研精神。在面对各种技术问题时能积极主动且有耐心地进行深入的研究学习。 8、熟悉微服务架构及其各组件者优先,例如:Spring Cloud,ServiceMesh,k8s,istio等。
-
职位职责: 1、参与用户增长算法平台的设计与研发; 2、负责分布式大数据系统开发;高性能服务框架设计与开发 3、参与项目的架构设计、评审、技术攻坚及优化 职位要求: 1、精通java/scala语言中至少一种; 2、熟悉分布式、缓存、消息等机制; 3、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战; 4、熟悉大数据常用开源框架,例如hadoop/hbase/flink/spark/clickhouse等; 5、有实时流计算、分布式大数据系统开发经验者优先。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位职责: -持续构建完善高可用高效高性能的推荐系统,对推荐效果提升提供强有力支撑; 岗位要求: -计算机及相关专业本科及以上学历,具有扎实的代码功底,熟悉常用的算法和数据结构 -精通Java语言和框架,熟悉了解Python语言,具有良好的编程习惯,熟悉Linux开发环境,掌握设计模式 -熟悉Hadoop/Hive/HBase/Spark/Flink/ES等计算框架,有实际应用和开发经验; -掌握多线程及高性能的设计编码及性能调优,有高并发应用开发经验,对服务治理体系有充分的理解和应用 -具备推荐、广告、搜索开发经验者优先;
-
工作职责: 1、负责数据中台/数据仓库的模型架构设计和研发; 2、负责大型金融机构企业数据仓库模型设计,将源系统离散的数据按照各类主题进行建模,通过数据集成和质量管控,解决企业的数据使用问题; 3、参与数据治理工作,推动数据治理体系落地,参与数据标准,元数据管理,数据质量监控等数据管理工作; 4、理解并合理抽象业务需求,发挥数据价值,参与数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作; 任职资格: 1,3年以上数据中台/数据仓库/数据平台相关经验;具备乙方或者大型实体企业内部的数据建模项目经验,优先考虑;**本科或以上学历; 2,具备数据中台/数据仓库和数据建模能力;熟悉建模理论与方法,熟悉维度建模,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等;熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程 3、具有1年以上的数据仓库建模经验,了解IBM和teradata的FS-LDM的建模方法,并有至少1个以上的的金融企业数据仓库建模实际落地经验;熟悉保险行业业务更佳; 4,具备团队管理能力,有项目管理经验;个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责。 5、了解大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,有阿里大数据生态Maxcompute、dataworks项目经验的优先考虑。对常见数仓技术体系:Kylin、Doris、Clickhouse、Hive、Spark、Flink、Kafka等,有其中一个或多个有实际研发经验;
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。