-
Hbase运维工程师 职责描述: 1、负责数据集群/Hadoop/hbase等运维保障; 2、负责hbase平台各组件服务的监控及故障处理; 3、对hbase平台运维不断优化,提升数据产品的质量和响应速度; 任职要求: 1、一年以上大数据平台的运维相关运维经验,精于容量规划、架构设计、性能优化; 2、具备一定的开发能力,精通一门以上脚本语言(shell/python等),有java 和 scala 基础尤佳; 3、对hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层hadoop集群实际搭建及运维经验。 4、精通hadoop相关生态圈系统的搭建、管理、配置优化。 5、有Lindorm运维经验优先。 6、此岗位为合作方岗位。
-
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 1.结合美团业务需求,在深入理解Elasticsearch内核的基础上,进行架构优化、性能提升以及新特性开发。 2.大规模ES集群运维能力建设,参与美团Elasticsearch产品的运营建设、日常维护,与业务持续提升系统的稳定性。 3.深度参与到Elasticsearch离线数据平台建设和架构演进。 4.跟踪业内发展动态和趋势,有选择地将业界实践引入到美团。 岗位基本需求 1.有扎实的编程基础,至少精通一门开发语言(java, c/c++, python,go)。 2.对新技术敏感,追求卓越,能快速学习并具备较强的技术领悟能力。 3.积极主动,沟通顺畅,有快速学习能力,乐于探索未知领域。 具备以下者优先 1. 对Elasticsearch/Hadoop/HBase/Rocksdb等开源产品,有云计算相关开发经验者优先。 2. 熟悉Spark,Flink,Hbase等大数据组件,有大型数据平台开发经验者优先。 3. 具有较大规模平台开发及运维治理经验优先。 岗位亮点 深度参与大规模基础架构产品的开发和运维治理,参与高性能、分布式存储系统的开发。 如果你不甘平庸、有志于用技术使得生活变得更美好,如果你对搜索怀有极大热情,乐于与一流技术团队共事,欢迎加入我们。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
岗位职责: 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发; 3. 基于Java及Linkis开源框架的质量引擎开发; 4. 大数据资产应用的开发、部署、调优; 5. 数据稽核引擎开发,数据共享交换能力对接。 任职要求: 1. 本科及以上学历,计算机相关专业; 2. 3年以上互联网或软件行业工作经验,熟悉Linux环境;熟悉Linux和Python开发; 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可: 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发; 5. 熟悉数据治理理论概念、架构,有元数据、数据质量、数据标准、主数据等相关数据治理经验; 6. 有分布式相关项目(分布式存储/分布式计算/高性能并行计算/分布式cache)经验; 7. 对数据库的架构、扩展特点非常熟悉,能熟练进行SQL优化、集群部署、数据同步等。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职位职责: 1、负责字节跳动各业务直播数据的汇聚与接入; 2、负责直播数据平台数据链路建设和数据开发规范建设; 3、建设数据质量体系,形成完整的数据监控和数据校验机制; 4、负责直播相关数据需求的开发,能独立设计方案、把控需求、拆解细化并实施。 职位要求: 1、熟练运用Python、Java、Scala、Go等至少一门语言,对数据结构和算法设计有较为深刻的理解; 2、熟悉MySQL/postgresql/MariaDB等至少一类数据库,熟悉常见的NoSQL存储; 3、熟悉Hive数据仓库设计,了解数据仓库模型及思想、维度建模思想; 4、丰富的大数据技术经验,熟练掌控至少2种大数据技术,包括不限于Hadoop、HBase、Spark、Kafka、Storm、Flink等; 5、具有良好服务意识与数据sence,团队意识和协作精神; 6、较强的内外沟通能力,有数仓开发经验者优先。
-
岗位职责: 1.负责搜狐智能媒体垂直业务服务端研发;2.对业务需求进行技术方案设计、实现以及优化,持续提升服务性能和稳定性,承接用户端流量;3.改进和优化开发流程、技术框架、服务设施性能;4.跟踪新技术发展并运用到实际项目中。 任职资格: 1.**本科以上学历,计算机科学、电子工程、信息工程或其它相关理工科专业学士以上学位,有2年以上互联网服务端开发经验;2.Java基础扎实,熟悉主流的Java开发框架,如SpringBoot,Mybatis,gRPC等;3.熟练使用MySQL、Redis的使用,并了解其原理,具备SQL调优经验;4.熟悉Linux、Tomcat,Nginx等开源的服务器和Web服务中间件,有调优经验;5.对Hadoop,Hbase,Hive有一定的了解;6.责任心强,有良好的沟通能力,团队合作能力以及推进工作执行能力。
-
职位职责: 1、负责字节跳动国际支付的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
职位介绍: 系统工程师(数据方向)将负责搭建和维护数仓及集群,根据需求提供产品和技术服务, 为上海迪士尼度假区提供各种系统及业务支持。您将管理日志管理平台和系统大数据平台,负责准实时和非实时的报表开发和数据分析。 工作内容: 1、负责数据仓库相关业务的数据统计分析; 2、负责数据仓库应用产品设计、开发、维护工作; 3、负责大数据集群资源管理、性能优化和故障处理和监控. 我们希望您: 1、有本科及以上学历,3年以上数仓相关工作经验,计算机及相关专业优先; 2、对 Flink,Spark,Kafka等流、批式计算框架有深入理解,在 Flink实时计算方向有项目经验优先; 3、熟悉各种大数据组件,如Hadoop、Hive、HDFS、Hbase、Kafka、Hudi,愿意从事大数据平台开发工作和维护; 4、熟悉分布式、高并发、高稳定性、海量数据的系统特点和技术方案; 5、熟悉Sql语法,有扎实的编程基础,至少熟悉python或java一种编程语言; 6、对于新技术、新应用有浓烈的兴趣,敢于承接挑战并有较强的责任心。 关于上海迪士尼度假区: 作为全球家庭娱乐业的领军企业之一,上海迪士尼度假区为我们的游客带来独具一格的服务和珍藏一生的记忆。加入我们,在这个充满奇幻、想像、创意和探险的全新世界里,为每年数以百万的度假区游客创造欢乐。无论您的迪士尼旅程走向台前还是幕后,您都拥有无限机遇。 * 我们致力于提供平等的就业机会,欢迎残障人士申请职位。 * 具体的福利基于职位有所不同,可能根据公司政策进行调整。 * 上海迪士尼度假区不会委托任何人或第三方机构向求职者收取费用。候选人请务必通过度假区官方招聘渠道获取度假区招聘的相关资讯。
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
Summary NCCT는 Naver Cloud 법인과 발맞추어 Cloud 서비스에 필요한 다양한 상품과 운영도구들을 중국에서 개발하고 유지보수 하는 조직입니다. NCCT 법인 내 NCP Development 부서의 한국 향 개발 관리 업무의 수요에 의한 충원의 건입니다. Position Information: Naver Cloud Platform 서비스 개발 - IaaS, PaaS, SaaS 서비스 개발 및 유지보수 Cloud 운영을 위한 관리도구 개발 및 유지보수 Desired Skills, Experience: - 유관업무 경력 3년 이상 - Computer Science 또는 Software Engineering에 대한 이해가 있으신 분 - Java 기반의 개발 경험이 있으며 Spring Framework에 대한 이해와 경험이 있으신 분 - MySQL, Oracle 등의 RDB 와 MongoDB, Redis, HBase 등의 NoSQL에 대한 이해와 경험이 있으신 분 - Elasticsearch, Kafka 등의 기본적인 오픈소스 플랫폼에 대한 이해와 경험이 있으신 분 - 문제 해결 능력과 커뮤니케이션이 원활하신 분 - 긍정적인 마인드를 가지신 분 - 중국어에 대한 기초가 있으신 분 보유하고 있다면 우대사항이 될 만한 스킬 셋이나 경험을 작성 해 주세요. - 한국 국적 - 중국어 커뮤니케이션 가능하신 분 - 영어로 커뮤니케이션 가능하신 분 - Excel 업로드/다운로드 개발 경험이 있으신 분 - Docker & Kubernetes 서비스 개발 및 운영 경험이 있으신 분 - Vue, React 등을 이용한 Frontend 개발에 대한 이해가 있으신 분
-
岗位职责: 设计、实现并优化搜索推荐算法和系统,确保搜索结果的准确性、多样性和个性化。 分析和理解用户搜索行为、偏好和趋势,提取关键特征并构建相应的模型和算法。 进行大规模数据处理和分析,优化搜索引擎的性能和效率。 与产品团队紧密合作,理解用户需求并将其转化为技术方案和功能需求。 进行实验和测试,评估算法和模型的效果,并持续优化改进。 跟踪行业最新技术和研究,探索新的算法和方法来提升搜索推荐质量。 职位要求: 本科及以上学历,计算机、统计学、数学等相关专业; 5年及以上搜索算法工作经验,至少有3年模型排序经验,有电商/旅游公司工作经验者优先; 熟练掌握LR/GBDT等排序模型, 对BERT/DSSM等深度模型有一定的了解; 熟练使用python语言,有Tensorflow、PyTorch等深度学习框架开发者优先; 具备大数据的分析能力、大数据挖掘能力,数据各种数据平台的使用,例如:Hive/HBase/Spark/; 了解A/B Testing过程,熟悉CTR、CVR、UV value等电商行业核心业务指标; 具备较好的工程基础和良好的代码风格; 具有良好的沟通能力,英语听力良好。
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
岗位职责: 1、负责账务、线上业务运营相关服务的设计和开发; 2、深入分析业务需求,撰写技术方案和系统设计; 3、完成详细设计和编码的任务,确保项目的进度和质量; 4、能快速分析解决复杂的技术问题; 任职要求: 1、本科及以上学历,专业基础扎实,计算机及相关专业优先; 2、为人踏实,协作能力强,能接受一定的工作压力; 3、具有较强的自我驱动能力和自学能力,沟通能力强; 4、Java Web开发3年以上经验,熟悉面向对象开发模式,了解常用的设计模式; 5、精通Java面向对象开发模式,了解常用的设计模式、熟练使用J2EE开源框架如Spring/SpringBoot/MyBatis-plus/Maven等,并了解其架构和实现原理; 6、精通Java集合包和并发包。或者精通Guava等第三方集合包; 7、熟悉MySQL数据库,能独立完成MySQL的数据库设计、性能调优等; 8、熟悉Kafka、RabbitMQ、Redis、HBase等常用MQ和非关系型数据库; 9、有Hadoop、Hive、Spark、Flink等大数据工具使用经验者优先; 10、有支付、账务系统、清结算、RPA、电子券、BI及数据可视化项目或行业工作经验优先。