-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
职位职责: 1、负责火山引擎混合云存储产品的核心技术研发,为字节系内部业务以及火山引擎客户提供企业级存储产品服务; 2、深刻理解存储的核心能力,结合客户/行业混合云场景特定需求,通过领先的架构设计,在存储IO、数据库事务处理、查询分析、数据安全等核心领域持续技术创新和突破,并完成高质量的工程落地; 3、深刻理解各行各业IT架构,研发存储网关、一体化备份等产品,实现多云、云上云下数据互通,为客户IT提供极致灵活的基础底座。 职位要求: 1、熟悉存储系统或关系型数据库系统原理,具有中间件、HA、内核等相关研发工作经验; 2、熟悉C/C++/Rust/Go/Python中至少一种,有良好的算法和数据结构基础,对工程质量有较高的要求;对性能有极致的要求; 3、有存储、数据库、高并发系统、分布式系统等工作经验,并深入理解该领域技术; 4、熟悉对象存储、块存储、文件存储、MySQL、PolarDB、TiDB、OceanBase、CynosDB、Spanner等相关产品中的一种或多种者优先;有大规模系统研发和落地经验者优先; 5、对相关产品有私有化、多云、云上云下互通等混合云场景相关经验者优先。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位职责: 1. 参与数据中台的设计与开发,解决海量数据面临的挑战; 2. 负责Flink/ES/clickhouse/hadoop的功能、性能和扩展,参与产品需求讨论、技术方案确定,解决并实现业务需求; 3. 参与数据中台组件选型搭建和组件优化,提升平台的数据接入、数据治理、数据分析、数据服务能力,并提升整体系统的性能及稳定性。 任职要求: 1. 本科以上学历,2年以上互联网大数据处理经验; 2. 熟悉Linux操作系统,熟悉Java、Scala开发常用语言框架,有扎实的Java基础及良好的编码能力; 3. 熟悉大数据开源技术,包含(不限于)Hadoop/Flink/Spark/Kafka/Es分布式框架/计算/存储/检索等相关技术; 4. 了解大数据行业解决方案应用架构,有大型分布式高并发、高负载、高可用性系统设计开发经验优先,有海量数据下开发及组件优化相关经验者优先 5. 具有高度的抽象设计能力,善于思考,能独立分析和解决问题,能独立了解数据需求,并可以转化成分析产品设计并实现; 6、责任心强,具备良好的团队合作精神和较强的学习能力。 加分项: 1.有过大型日志处理系统的开发经验者优先 2.网络&数据安全相关经验优先
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
岗位职责: 1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,参与稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,支持提供业务系统化的解决方案。 任职标准: 1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.熟悉spark/hive组件原理和应用,精通spark内核相关知识和技术,有较大规模RSS生产实施经验。 3.了解大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。 4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 5.有AWS/GCP/阿里云等云平台使用经验者优先。 6.有良好的服务意识、沟通能力和团队协作精神。
-
一、公司介绍: 彩讯股份(创业板股票代码:300634)是一家软件互联网上市公司,是协同办公、 智慧渠道、云和大数据领域的龙头企业。拥有五地研发中心和遍布全国的运营网络,员工超过 3000 人。 公司坚持“以大场景运营效果为导向,全面数字化、智能化”的发展战略,持续加大在人工智能等领域的投入,将成为中国领先的智能数字化企业。 二、项目介绍: 中国移动云盘是中国移动面向所有用户推出的一款安全、智能、不限速、移动用户免流量的产品。产品涵盖存储备份、多端同步、在线管理、群组分享四大核心能力。云盘是中国移动继语音、短信、流量之后的“新基础服务”,其用户规模近2亿,月活6000万。 基于彩讯多年的开发技术沉淀基础,移动云盘采用了微服务架构设计理念搭建技术框架,选用完善的nacos作为注册中心和配置中心,封装了经典技术组合(Spring Boot、Spring Cloud & Alibaba、myBatis-plus、sharding-jdbc、xxl-job、RocketMQ、ElasticSearch),支持集群,支持多数据源,遵循DDD领域驱动原则对系统模块进行分层解耦及流程优化,切分平台关键服务模块(圈子管理、动态发布、水印分享、实时搜索、在线编辑、AI相册等),以k8s容器化技术进行应用容器集群管理,实现容器集群的自动化部署、自动扩缩容、维护等功能。 三、岗位介绍: 【岗位职责】: 1、参与存储平台、分布式数据库平台建设,新技术研究以及实施。 2、主要技术方向包括:分布式对象存储、分布式KV存储、共享文件系统、分布式关系型数据库。 3、负责分布式系统的需求分析,技术调研,方案设计,代码编写以及优化等工作。 【岗位要求】: 1、**重本及以上学历; 2、熟练掌握一门编程语言(Java/C++); 3、熟悉常用的数据结构与算法,并能灵活运用与解决实际业务问题; 4、有分布式存储、分布式数据库开发经验优先; 5、有Rocksdb存储引擎研究、开发经验优先; 6、对Linux系统、优秀开源项目有深入研究优先; 7、有较好的团队协作能力,对技术有极客精神,有极强的学习能力。 四、薪酬福利与职业发展: 我们提供竞争力的薪资待遇和福利待遇,包括期权激励、五险一金、带薪年假、节假日福利、健康体检、培训及晋升机会等。 同时,我们还为员工提供广阔的职业发展空间,鼓励员工在工作中不断成长和进步。 我们的团队充满活力、激情和创新精神,致力于打造一个开放包容、信任互助的工作环境,并定期举行各种团队建设活动,增强彼此之间的沟通和理解。 期待您的加入,一起探索未来无限可能! 想更多了解彩讯股份,欢迎进入:https://www.richinfo.cn
-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责: 1、对核心业务进行应用安全架构设计,能够出具完整的应用安全实施解决方案; 2、安全需求评审、安全代码审计、渗透测试、漏洞应急响应等工作; 3、进行与业务贴近的安全技术研究、安全方案设计、安全产品能力运营等; 任职资格: 1.本科及以上学历,5年以上甲乙方安全从业经验 2.精通软件安全开发生命周期(比如微软SDL或owasp SAMM),熟悉行业主流的安全标准、安全模型、安全解决方案、安全体系; 3.丰富的WEB或移动端安全测试及漏洞挖掘经验(黑盒和白盒),有大型应用项目安全评估经验; 4.安全基础扎实,熟悉漏洞的内在原理、检测方法、利用手段以及对应解决方案; 5.熟练掌握JAVA、Python、Swift中的一种或多种编程语言; 加分项: 1、掌握数据挖掘及机器学习算法技能并有实践经验; 2、SRC核心白帽子或者通用漏洞提报者;
-
工作内容: 1. 负责集度业务安全和信息安全相关的技术架构工作; 2. 发掘公司业务安全风险,参与安全产品建设的技术分析,日常开发和场景落地; 3. 推动安全域服务高可用相关的长期治理改进; 职位要求: 1. 本科及以上学历,计算机、软件,通信,网络安全相关专业; 2. 业务安全相关领域的研发背景,或对安全领域的开发工作充满兴趣; 3. 良好业务服务抽象设计能力,善于解决问题,并有复杂业务应用研发落地经验; 4. 扎实的编程基础,精通java/Go/Python等开发语言;熟练掌握后端开发,分布式架构,缓存、消息中间件等核心技术,3年以上应用服务架构设计和稳定性治理相关经验,有安全域大规模数据分析型业务实践者优先; 5. 技术敏锐,善于协作,并愿意不断进行新技术的探索与探索;
-
职责描述: 1、负责行内基础应用类系统的研发建设和运维等; 2、负责行内基础应用需求的研发实施,保证研发工作的顺利进行,指导团队成员完成工作; 3、负责行内基础应用公共组件的研发、解决共性需求等; 4、负改善行内基础应用系统的技术架构及接入规范标准,参与日常代码评审,协调和解决基础应用研发及生产过程中出现的技术问题; 5、参与解决复杂技术问题,主导技术难题攻关,能提升基础应用系统高处理性能,保证系统的安全、稳定、快速运行; 6、团队内部其他交代日常工作事项。 任职要求: 1、本科及以上学历,计算机等相关专业,五年以上软件设计开发经验; 2、熟练掌握JAVA语言和面向对象设计开发,对分布式、多线程、异步处理、消息处理、并发等有较深入理解; 3、熟练使用设计模式,对常用的设计模式有深入的理解; 4、熟悉主流开源框架及微服务,如Spring、SpringMVC、SpringBoot、Mybatis、Dubbo等; 5、熟悉中间件,如Nginx、Redis、Zookeeper、MQ等,对技术选型作出合理的判断; 6、熟悉云原生、Docker、K8s、分布式数据库、对象存储等技术并有实际使用经验的优先; 7、有消息服务、统一身份认证、影像内容管理等基础应用平台研发经验的优先; 8、有技术标准、技术文档编写功底,能为系统开发设计提供建议方案和设计创新优先考虑; 9、有重要基础应用平台、大型分布式系统的设计和开发,具有服务化、高并发系统的架构设计和开发经验优先考虑; 10、良好的内外部沟通表达能力,有团队精神、有责任心、有较强的执行力,能完成团队项目目标; 11、技术视野开阔,学习能力好,对业界新技术敏感。