-
职位职责: 1、负责字节跳动大数据平台高可用性保障,协同大数据各组件团队制定稳定性标准、明确职责边界、推进稳定性项目落地; 2、负责运维流程标准建设和相应工具能力建设,包括稳定性目标管理、监控诊断运维能力、容灾应急方案等; 3、负责推进大数据组件风险治理和事故管理,降低平台事故、提升运维效率、降低运维成本。 职位要求: 1、计算机相关专业本科及以上学历; 2、具备大数据架构系统全景知识,熟悉HDFS、Yarn、Spark等基础组件原理,了解数据生产加工链路过程; 3、具备扎实的平台运维体系知识,熟悉大数据组件常见故障和运维流程,对大数据稳定性保障有见解和实践经验; 4、具备良好的项目推动能力、沟通能力和团队合作精神,能够独立解决问题并承担压力; 5、有大数据平台SRE经验优先,有运维平台工具建设经验优先; 6、有国际化经验或者英语能力为加分项。
-
职位职责: 1、负责视频云业务稳定性相关平台的产品设计、架构重构和功能迭代,优化使用效率和体验; 2、针对变更管理、应急响应、容量治理等领域的问题提出解决方案,并通过相关系统建设进行沉淀; 3、参与自动化能力建设,包括版本发布、配置管理、服务器日常维护等,提升业务运维效率; 4、参与AIOps等各类专项技术调研,新技术引入等前瞻项目。 职位要求: 1、本科及以上学历,3年以上运维开发或应用运维经验; 2、熟悉Java,Python,Go等至少一种开发语言,有相关开发经验; 3、熟悉MySQL,Redis,RocketMQ等常用中间件的基本原理,有相关实践经验; 4、熟悉RedHat,CentOS,Fedora等操作系统原理,TCP/IP以及常用的网络协议; 5、较强的责任心沟通能力和逻辑表达能力,具备良好的团队合作精神和主动意识。 加分项: 1、有数据处理及分析相关经验,熟悉相关的组件,如:Hive,Clickhouse,HDFS等; 2、熟悉常见的前端框架(如React,Vue); 3、熟悉云计算、容器化技术(如Docker,Kubernetes)。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责 1、ETL & 数据管道开发 设计、开发、优化 ETL 流程,实现数据从 MySQL 及其他数据源同步至 ByteHouse 负责数据 采集、清洗、转换、加载(ETL),提升数据质量和一致性 维护和优化ETL作业,确保数据处理的稳定性和高效性 设计和实现数据管道监控,优化任务调度和错误处理 2、数据湖仓管理 & 性能优化 负责ByteHouse(类似 ClickHouse) 的存储管理、表设计及查询优化 设计数据分层架构,构建高效的数据仓库模型 进行数据治理,包括数据血缘、数据质量管理、Schema 演进 研究和优化数据 冷热分层存储,提高查询性能 3.、数据集成 & 数据治理 负责实时/离线 数据集成(Kafka、Canal、Flink),提升数据时效性 保障数据一致性,处理数据去重、异常检测、主键冲突等问题 设计数据权限管理,保证数据访问合规与安全性 岗位要求 必备技能: 1、熟练使用SQL,有 MySQL、ByteHouse / ClickHouse 经验 2、熟悉ETL开发,有 Airflow / AWS Glue / Flink / Spark 相关经验 3、熟悉数据湖/数据仓库架构设计 4、熟悉Kafka/Canal,了解数据流转机制 5、具备Kubernetes(K8s)及AWS相关经验 加分项: 1、了解 数据治理(数据质量、血缘分析、元数据管理) 2、有分布式存储优化 经验,如 S3 / HDFS + ByteHouse 3、具备 Python / Java / Go 研发能力,能开发ETL自动化工具 4、有ClickHouse/ByteHouse 高并发查询优化经验
-
在校生日常实习 城市:北京/深圳 岗位职责 参与公司自研的分布式分析型图数据库的设计与开发工作;负责查询引擎、存储引擎、元数据模块的设计与开发工作。关于图数据库的一些基础知识可以參考我们在DataFun的分享: https://mp.weixin.qq.com/s/8MHQT6J-ah3KElx5ZtmHwA 岗位要求 1. 熟练使用C/C++, Rust 任一编程语言,有良好的代码习惯; 2. 对分布式系统架构,分布式存储方向充满热情; 3. 熟悉计算机系统结构,熟悉多线程、网络编程等技术优先; 4. 优秀的发现和解决问题能力,良好的沟通能力,快速学习能力。 加分项 1. 有数据库、分布式存储系统研发经验者优先; 2. 熟悉Iceberg/Hudi/Doris/ClickHouse等系统原理者优先; 3. 熟悉Impala/Presto/Hive/Spark/Hadoop等分布式计算引擎原理者优先; 4. 熟悉HDFS/HBase/Kudu/RocksDB等存储引擎原理者优先。 其他:有社区贡献的可以发下自己的 GitHub 账号
-
在校生日常实习 城市:北京/深圳 岗位职责 参与公司自研的分布式分析型图数据库的设计与开发工作;负责查询引擎、存储引擎、元数据模块的设计与开发工作。关于图数据库的一些基础知识可以參考我们在DataFun的分享: https://mp.weixin.qq.com/s/8MHQT6J-ah3KElx5ZtmHwA 岗位要求 1. 熟练使用C/C++, Rust 任一编程语言,有良好的代码习惯; 2. 对分布式系统架构,分布式存储方向充满热情; 3. 熟悉计算机系统结构,熟悉多线程、网络编程等技术优先; 4. 优秀的发现和解决问题能力,良好的沟通能力,快速学习能力。 加分项 1. 有数据库、分布式存储系统研发经验者优先; 2. 熟悉Iceberg/Hudi/Doris/ClickHouse等系统原理者优先; 3. 熟悉Impala/Presto/Hive/Spark/Hadoop等分布式计算引擎原理者优先; 4. 熟悉HDFS/HBase/Kudu/RocksDB等存储引擎原理者优先。 其他:有社区贡献的可以发下自己的 GitHub 账号
-
岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作。 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行。 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作。 4、学习和研究新技术以满足系统需求。 岗位要求: 1、拥有数据处理相关专业背景。 2、对互联网产品有见解,关注前沿技术,有较强的学习能力、分析能力和动手能力。 3、熟悉常用分布式计算和存储框架,如Hadoop/HDFS/Spark等。 4、至少熟悉以下一种大数据技术组件,Hive、Impala、Hbase、Flume、Kafka、Zookeeper、Storm、Flink。熟悉资产管理、资金业务和金融工程相关领域业务者优先。 5、个性乐观开朗,沟通能力强,具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率。 6、工作经历需满2年。最短工作经历不少于一年。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
岗位职责 1.参加公司的项目BI报表开发工作; 2.根据开发进度和任务分配,完成相应报表的设计、开发等任务; 3.进行报表单元、功能的测试,查出报表存在的缺陷并保证其质量; 4.负责报表的日常维护工作,解决生产上的问题和缺陷; 5.根据公司技术文档规范编写相应的技术文档以及编写相应的说明书。 任职资格 1.熟悉 SQLserver、MySQL、Oracle 数据库,存储过程编写,Java 编写帆软数据程序集。 2.熟练可视化报表工具:FineReport/FineBI/PowerBI/smartBI,能独立完成可视化驾驶舱大屏看板、普通分析看板、决策看板及填报报表的开发。 3.熟悉 ETL 流程,熟练使用 Kettle、spoop、Datax 等工具,可完成包括但不限于对数据进行清洗、转换、 加载。 4.熟悉 LINUX 系统,掌握基本 LINUX 基本命令以及 shell 脚本。 5.熟悉大数据组架 HDFS、MapReduce 工作原理及 yarn 的资源调度方式。 6.熟悉hive、spark、flink、hadoop生态圈。 7.接受本地或异地项目驻场工作,接受长短期出差。 8.具备帆软认证资深报表工程师(FCRP); 帆软认证BI工程师(FCBA);帆软认证数据运营师(FCAA)等证书优先。 9.具备良好沟通能力,较好的人际交往能力,团队协作能力强者优先。 10.有5年以上的交付经验,具备独立带团队交付项目能力,有帆软BI项目交付经验优先。
-
岗位职责: 1.负责企业级大数据平台的设计、开发、维护与优化,参与实时和离线数仓设计、数据模型体系的构建和开发,提供统一、可靠的离线和实时数据服务; 2.构建高效、稳定的数据处理流程,解决海量数据(TB/PB级)下的性能瓶颈问题; 3.负责数据治理,建立数据规范,优化数据链路,保证数据时效和数据质量 4.负责实时计算(如Flink、Kafka)与离线计算(如Hive、Spark)任务的开发与调优; 5.协同数据管理部门、业务团队完成数据驱动的决策支持,提供可落地的数据解决方案; 6.跟踪大数据领域前沿技术(如湖仓一体、流批一体、AI工程化),推动技术升级与创新 职位要求: 1.学历背景 -计算机科学、软件工程、统计学等相关专业本科及以上学历,985/211优先。 -两年及以上大数据开发经验,最短一份工作经历不少于一年。有复杂业务场景的实战经验者优先。校招生本硕均985/211或海外本硕QS前100者优先。 2.技术要求 -精通Hadoop生态体系(HDFS/YARN/Hive/Spark/HBase等),熟悉分布式系统原理。研究过Hadoop或者Spark源代码的优先; -熟练掌握至少一门编程语言(Java/Scala/Python/Shell/SQL),具备高性能代码开发能力者优先; -熟悉实时计算框架(Flink、Kafka Streams)及消息队列(Kafka/Pulsar)者优先; -熟悉云原生大数据技术(华为云Mars产品等)者优先; -有数据治理、数据安全(如脱敏、权限控制)经验者优先; -熟悉数据仓库建模、ETL开发,对数据平台和数据分析等有一定的了解者优先。 3.其他能力 -良好的逻辑思维和沟通表达能力,有一定的组织协调能力,有团队合作精神,学习能力强: -技术视野开阔,有强烈的上进心和求知欲,善于学习和运用新知识;
-
关于我们: 四川乐为科技有限公司2013年4月成立于成都市高新区 ,专业从事大数据存储、云平台建设、人工智能+、数据资产管理、数据标注等产品研发与服务 ,是国内领先的企业网盘方案供应商;服务于百度、腾讯、阿里等头部企业,客户涉及20多个重点行业 , 累计服务了30多家500强 企业、 4000多家中小企业、 1200万个人;获得高企、双软、瞪羚企业、专精特新等荣誉认证 职位类型:全职 我们正在寻找这样的你: 1-3年IT行业销售支持/客户管理经验,有大数据、存储或云计算领域背景优先; 熟悉大数据存储技术术语(如HDFS、对象存储、块存储); 具备良好的抗压能力和团队协作精神 工作地点:base【苏州】、【成都】 【岗位职责】 1. 销售支持 协助销售团队处理客户询价、方案比选及招投标流程,负责标书/技术文档的整理与初步审核。 协调售前技术团队与客户沟通,确保存储解决方案(如分布式存储、混合云架构)的技术需求准确传递。 跟踪销售漏斗,维护CRM系统数据,生成周报/月报分析销售趋势及客户反馈。 2. 客户管理 对接客户日常需求,解答基础技术问题(如存储容量规划、数据备份策略)。 安排技术演示、POC测试及客户拜访,确保销售流程高效推进。 管理客户档案,定期更新行业动态(如金融、医疗、制造业大数据需求)。 3. 内部协作 联动产品、研发及交付团队,推动跨部门资源调配(如定制存储方案报价、交付排期)。 协助制定销售工具包(竞品分析、ROI测算模板、技术白皮书)。 4. 市场洞察 监控行业趋势(如对象存储、全闪存阵列、数据湖技术),提炼销售线索。 参与行业展会/研讨会策划,支持市场活动落地。 【任职要求】 1. 基础资质 本科及以上学历,计算机、信息管理、市场营销相关专业优先。 1-2年IT行业销售支持经验,有大数据存储、云计算(AWS/Azure/阿里云)背景者佳。 2. 专业技能 熟悉存储技术术语(如RAID、NAS/SAN、数据压缩/重删)。 熟练使用Office(尤其是Excel数据透视/VLOOKUP)、CRM工具(如Salesforce)、项目协作工具(如Teambition)。 具备基础数据分析能力,能快速处理客户采购周期、预算等销售数据。 3. 核心能力 学习能力:快速掌握存储解决方案知识(如Ceph、HDFS架构)。 沟通力:清晰传达技术细节给非技术客户,协调跨部门资源。 抗压力:适应高频客户沟通及多任务并行。 【加分项】 有云计算认证(如AWS Cloud Practitioner)、存储厂商培训经历。 英语可作为工作语言(处理外企客户)。 接触过政府/金融/医疗等强监管行业客户。 【你将获得】 1、五险一金:入职即购买 2、晋升体系:完善的晋升通道及晋级要求 3、薪酬激励:年终奖、团队超额完成奖 4、轻松愉快的工作氛围:超nice的同时,体验专业、包容的团队文化 5、定期培训:专业技巧培训、职业素养培训、管理能力培训等 6、丰厚的福利待遇:节日福利、法定假期、团建活动等 7、深入大数据存储领域的职业发展路径(可转售前工程师/解决方案专家)。 8、与行业头部客户(如运营商、互联网公司)直接合作的机会 9、技术培训与厂商认证支持。
-
关于我们: 四川乐为科技有限公司2013年4月成立于成都市高新区 ,专业从事大数据存储、云平台建设、人工智能+、数据资产管理、数据标注等产品研发与服务 ,是国内领先的企业网盘方案供应商;服务于百度、腾讯、阿里等头部企业,客户涉及20多个重点行业 , 累计服务了30多家500强 企业、 4000多家中小企业、 1200万个人;获得高企、双软、瞪羚企业、专精特新等荣誉认证 职位类型:全职 我们正在寻找这样的你: 1-3年IT行业销售支持/客户管理经验,有大数据、存储或云计算领域背景优先; 熟悉大数据存储技术术语(如HDFS、对象存储、块存储); 具备良好的抗压能力和团队协作精神 工作地点:base【苏州】、【成都】 【岗位职责】 1. 销售支持 协助销售团队处理客户询价、方案比选及招投标流程,负责标书/技术文档的整理与初步审核。 协调售前技术团队与客户沟通,确保存储解决方案(如分布式存储、混合云架构)的技术需求准确传递。 跟踪销售漏斗,维护CRM系统数据,生成周报/月报分析销售趋势及客户反馈。 2. 客户管理 对接客户日常需求,解答基础技术问题(如存储容量规划、数据备份策略)。 安排技术演示、POC测试及客户拜访,确保销售流程高效推进。 管理客户档案,定期更新行业动态(如金融、医疗、制造业大数据需求)。 3. 内部协作 联动产品、研发及交付团队,推动跨部门资源调配(如定制存储方案报价、交付排期)。 协助制定销售工具包(竞品分析、ROI测算模板、技术白皮书)。 4. 市场洞察 监控行业趋势(如对象存储、全闪存阵列、数据湖技术),提炼销售线索。 参与行业展会/研讨会策划,支持市场活动落地。 【任职要求】 1. 基础资质 本科及以上学历,计算机、信息管理、市场营销相关专业优先。 1-2年IT行业销售支持经验,有大数据存储、云计算(AWS/Azure/阿里云)背景者佳。 2. 专业技能 熟悉存储技术术语(如RAID、NAS/SAN、数据压缩/重删)。 熟练使用Office(尤其是Excel数据透视/VLOOKUP)、CRM工具(如Salesforce)、项目协作工具(如Teambition)。 具备基础数据分析能力,能快速处理客户采购周期、预算等销售数据。 3. 核心能力 学习能力:快速掌握存储解决方案知识(如Ceph、HDFS架构)。 沟通力:清晰传达技术细节给非技术客户,协调跨部门资源。 抗压力:适应高频客户沟通及多任务并行。 【加分项】 有云计算认证(如AWS Cloud Practitioner)、存储厂商培训经历。 英语可作为工作语言(处理外企客户)。 接触过政府/金融/医疗等强监管行业客户。 【你将获得】 1、五险一金:入职即购买 2、晋升体系:完善的晋升通道及晋级要求 3、薪酬激励:年终奖、团队超额完成奖 4、轻松愉快的工作氛围:超nice的同时,体验专业、包容的团队文化 5、定期培训:专业技巧培训、职业素养培训、管理能力培训等 6、丰厚的福利待遇:节日福利、法定假期、团建活动等 7、深入大数据存储领域的职业发展路径(可转售前工程师/解决方案专家)。 8、与行业头部客户(如运营商、互联网公司)直接合作的机会 9、技术培训与厂商认证支持。
-
任职要求: 1.8年以上Java应用开发经验,精通Java语言以及J2EE平台特性,熟悉常用的设计模式和开源框架, 2.有棋牌游戏行业从业经验者优先,有大型互联网项目经验或业内知名产品研发经验者优先; 3.精通领域建模能力,能够为复杂业务提供解决方案,有抽象出通用解决业务的能力; 4.精通Oracle、MySQL中的一个,MySQL优先; 5.熟悉Linux环境以及操作,熟悉Tomcat,Apache,Nginx等开源的服务器的配置和调优; 6.熟悉以下技术领域中的若干项,经验丰富者优先: (1)熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Redis)、消息中间件(Rabbit MQ、Kafka、RocketMQ)、搜索引擎(Elasticsearch、Lucence)等。 (2)熟悉高并发、高可靠性系统的设计、监控和运维,如负载均衡系统、集群和应用监控、系统容量评估、流量控制、性能优化、故障排查、日志收集和分析等; (3)熟悉分布式存储和分布式计算,如Hadoop HDFS、FastDFS、HBase、Hive等。 (4)熟悉微服务, 有服务治理的经验,精通SpringCloud技术栈或服务调用框架。 (5)熟悉Docker、虚拟化、弹性计算、自动化运维相关的技术。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。