-
岗位职责: 1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,参与稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,支持提供业务系统化的解决方案。 任职标准: 1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.熟悉spark/hive组件原理和应用,精通spark内核相关知识和技术,有较大规模RSS生产实施经验。 3.了解大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。 4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 5.有AWS/GCP/阿里云等云平台使用经验者优先。 6.有良好的服务意识、沟通能力和团队协作精神。
-
一、职位职责: 1、全面负责用户&商品画像和标签平台的架构设计与核心研发,确保平台的高可用性和扩展性; 2、深入理解公司各重点产品及业务需求,通过数据挖掘和分析,发掘潜在价值点,制定画像平台的长期发展策略,拓展画像在多场景下的应用; 3、领导画像产品的持续优化,推动画像标签应用平台的建设和技术创新,确保其在市场中的竞争力和领先性; 4、与跨部门团队紧密合作,推动用户画像技术在公司内部和外部生态系统中的推广和应用,提升公司整体数据应用能力。 二、职位要求: 1、精通Java语言及其生态系统,具备5年以上相关开发经验,能够在复杂场景下提供高效、稳定的解决方案; 2、深刻理解分布式系统、缓存、消息队列等技术原理,具备大规模分布式系统的设计和优化经验; 3、计算机基础扎实,对技术有极高的热情,具备解决复杂技术难题的能力,并愿意持续学习和应用新技术,应对业务挑战; 4、深入掌握大数据常用开源框架,如Hadoop、HBase、Flink、Spark、ClickHouse、Doris、Flink等,具备大规模数据处理的实战经验; 5、具备丰富的用户画像、数据应用开发经验,能够从业务角度出发,设计和实施数据驱动的解决方案; 6、有出色的领导力和团队合作能力,能够带领团队共同实现目标,并推动团队的技术成长和发展。
-
岗位职责: (1)负责兴业银行分布式应用开发平台的设计和研发,牵头制定行内相关平台的规范指引; (2)深度参与兴业银行超大型分布式应用的建设。 岗位要求: (1)具备5年以上分布式微服务技术相关工作经验; (2)曾负责或者以骨干身份参与分布式应用开发平台研发建设,并具有超大型分布式系统建设经验; (3)研究过SpringCloud、Dubbo、Sofa等分布式开发框架,有源码重构经验优先; (4)熟悉超大型分布式应用建设时所需的关键技术,如单元化、双活/多活、灰度发布、分布式事务、分布式批量调度等; (5)熟悉超大型分布式系统建设时所需的缓存、注册中心、配置中心、日志、全链路监控等组件; (6)具有大型系统应用上云相关经验; (7)具有大型互联网技术中台的研发和架构经验或者银行分布式核心系统建设经验者优先。 工作地点:上海、福州、成都
-
岗位职责: (1)负责兴业银行容器平台及中间件PaaS平台设计、研发、建设及维护工作; (2)负责容器云及中间件相关技术研究、技术标准制定、故障排查处置、安全加固等工作; (3)负责对使用容器云平台和接入各类PaaS服务系统提供技术支持。 岗位要求: (1)熟悉Docker容器技术,深度掌握相关技术原理细节; (2)深度掌握Kubernetes,深度了解各资源对象、技术组件运作原理,有实际项目经验; (3)对应用容器化设计、改造有深度认识以及实践经验; (4)熟悉Linux,熟悉Python、Shell中一种脚本语言,深度理解网络原理、存储原理、虚拟化、软件定义网络SDN等; (5)熟悉Tomcat、Kafka、RocketMQ、Redis、Nginx等中间件中一项或者多项,具有丰富的调优、高可用架构设计、故障排查、安全加固、监控经验。 符合以下一项或多项条件者优先: (1)曾负责或深度参与互联网或大中型金融企业的容器平台或中间件PaaS平台建设者; (2)具有2年以上容器平台或PaaS平台管理运维经验者; (3)对Docker、Kubernetes有源码级掌握者; (4)对云原生社区有贡献或者熟悉源码者; (5)具备Kubernetes Operator开发经验者; (6)具有Kubernetes相关认证者; (7)具备Redis、RocketMQ、Kafka、Zookeeper、Elastic等中间件二次开发经历者。 工作地点:上海、成都
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
职位职责: 1、负责字节跳动游戏客服分布式业务的服务系统设计与研发与建设; 2、负责公司平台级业务开发框架/复杂业务系统/基础平台的研发工作,如:安全合规、配置中心、流量网关、容灾平台、大数据存储、全球化网络,以建设大DAU场景中高可用容灾容错的稳定系统服务为目标; 3、主要实现语言为Golang/Python。 职位要求: 1、本科及以上学历,计算机、通信等相关专业; 2、有扎实的编程能力,有优秀的设计和编码思维; 3、深刻理解计算机原理,有良好的数据结构和算法基础; 4、熟悉微服务架构,熟悉Nginx、Mysql、Redis、消息队列等常用组件,并有能力定制化改进; 5、有高并发服务设计和实现经验优先,有较好的产品意识优先,有游戏行业经验或国际化方向经验优先; 6、积极乐观,责任心强,工作认真细致,具有良好的团队沟通与协作能力; 7、热爱编程,有较强的学习能力,有强烈的求知欲、好奇心和进取心,能及时关注和学习业界最新技术。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
职位职责: 1、参与游戏业务的离线和实时数据仓库建设和运维; 2、参与数据ETL流程的优化并解决ETL相关技术问题; 3、参与复杂数据链路依赖和多元数据内容生态下的数据治理工作; 4、依托公司成熟的大数据方案,在业务快速落地数据解决方案。 职位要求: 1、计算机相关专业本科以上学历,4年以上大数据相关工作经验; 2、掌握Hive、Yarn、Spark、Flink、Kafka、HBase等大部分大数据相关技术,了解其原理并可完成性能调优; 3、熟练使用HQL,至少掌握Python、Java、Scala、GO其中一种,熟悉Linux操作系统,熟练Shell编程; 4、工作积极主动,能独立分析和解决问题,有责任心,良好的沟通能力和团队合作能力; 5、有游戏行业经验优先。
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。