1、Hadoop 技术栈的开发和管理,解决实际业务挑战,e.g. YARN, HDFS, MapReduce, Spark, etc;
2、与开源社区保持交流,发现对业务场景有帮助的特性并引入生产环境,或将经内部验证的特性贡献到社区;
3、承担千台-万台规模 Hadoop YARN 集群的管理工作,与业务一起解决性能优化、容量规划、预算审计等问题,保障集群高效稳定经济运行。
1、Hadoop生态子系统的研发、测试与优化工作,解决实际业务需求与性能问题。子系统包括但不限于HDFS,HBASE,YARN,SPARK,KAFKA、FLink、Clickhouse、Druid等。
2、承担数万台规模Hadoop集群的管理工作,解决超大规模Hadoop集群在应用与运行过程中的出现各种问题,保证集群的高效稳定运行。
3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。