-
Scala大数据开发(英语良好)
[广州·天河区] 2024-04-1017k-20k·13薪 经验1-3年 / 本科IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上工作职责: 1、负责云平台产品的功能开发,基于大数据平台完成数据统计、分析、报表生成任务; 2、负责各类大数据组件的持续性能优化与改进。 岗位要求: 1、本科及以上学历; 2、2年及以上大数据开发经验,熟练掌握Scala编程语言; 3、具备Hadoop/Spark等大数据开源工具的使用经验,熟悉分布式系统的工作机制; 4、熟练掌握SQL及数据库相关知识; 5、学习能力强,责任心强,抗压力强,具有较强的思考和解决问题的能力,具有较强的团队沟通和协作能力。 -
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
岗位职责: 1. 独立完成建模方案设计、模型开发及部署,运用各类算法开发包括不局限于营销响应、流失预警等营销模型及反欺诈、信用评估、额度模型、行为评分、催收评分等风险模型,并对现有模型进行优化完善;根据客户需求,独立带领项目成员进行咨询项目的实施,包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报; 2. 配合商务进行客户需求沟通、方案讲解及咨询支持,对客户提出的业务痛点提供有效的解决方案及量化的决策建议;统筹分析并定位信贷机构风险/运营管理中出现的问题,结合行业动态趋势、监管力度,把握市场机遇,提供有效落地的解决方案,促成项目开展和有效落地; 3. 充分了解客户业务端审批流程及风险表现,结合用户特征,制定或优化贷前、贷中及贷后风控策略;为客户提供用户分层筛选、差异化营销手段等策略建议;负责客户端金融信贷产品风控/运营体系的规划与建设,制定风险/运营政策框架,设计、迭代贴合业务实际的风控/运营策略,实现风险控制与业务收益的平衡; 4. 不断学习/探索/优化算法,通过量化算法、业务经验等,基于内外部数据,统筹设计、开发有效用于风险/运营管理的创新数据及模型产品,并推进其实施落地; 岗位要求: 1. 硕士及以上学历,211/985院校毕业优先,数学、统计学、计算机等相关专业优先; 2. 5年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验,有项目管理经验优先; 3. 至少能熟练使用Python/Spark/R其中一种分析及建模工具,数据挖掘及建模经验丰富,能够有效利用LR/树型机器学习/神经网络等深度学习算法构建特征与模型; 4. 对零售信贷市场、信贷产品形态有深刻的认知;对全生命周期风控管理流程有深刻的理解,并掌握各环节的风控要点及风控策略制定逻辑;与时俱进,对不断更新迭代的算法(如GPT)持续学习和应用; 5. 具备独立思考的能力,逻辑严谨,对数据敏感,善于发现. 探索并解决问题,自我驱动力强; 6. 具备较强的抗压能力,踏实、勤奋、细心,愿意并乐于接受新尝试、新挑战,探索创新主动性强;
-
岗位职责: 1.负责电商供应链数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商供应链数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商供应链数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.3年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.掌握实时处理技术相关组件(如Kafka、Flink等); 6.负责过数据治理或数据仓库设计优先;
-
主要职责: 1. 负责媒体业务的大数据平台的建设工作,包括埋点、收集、加工、应用全流程的建设和迭代工作; 2. 负责数仓建设,制定数据规范,完善数据治理,提升数据产出效率和质量; 3. 对接业务方,为业务服务提供高效率、高可用的数据服务/数据产品; 4. 培养团队成员,组织技术分享,促进团队成员进步。 岗位要求 1. 计算机相关专业本科及以上学历,5年以上大数据方向工作经验; 2. 熟悉数据仓库建模,有实际的实时/离线数仓建模经验,具备一定的Java研发能力; 3. 深入了解大数据技术栈,熟悉spark、flink、hive等技术; 4. 熟悉springboot及相关技术; 5. 良好的沟通能力,团队意识以及跨团队协作能力; 6. 有团队管理经验优先。
-
岗位职责: 1、负责创新项目系统设计与研发工作; 2、负责相关子系统及业务流程的优化重构,研发过程优化工作; 3、负责项目重点、难点的技术攻坚; 4、负责后端系统核心代码编写和按时交付,保证交付质量和负责版本维护; 岗位要求: 1、计算机相关专业本科以上学历,5年以上工作经验; 2、扎实的编程能力,熟悉算法和数据结构,熟悉计算机的基础理论; 3、扎实的 Java 编程基础,热爱技术钻研,掌握 Java 等后端开发语言; 4、对各种开源的框架,如:Spring、MyBatis、Spring Boot、Spring Cloud、Dubbo、Istio 等有深入的了解,对框架本身有过开发或重构者可优先考虑; 5、具有大规模高并发 Web 应用设计和开发经验优先; 6、熟悉 Redis、Kafka、MariaDB、Mongodb、Hadoop、Spark、Elastic Search 等大数据技术者优先考虑; 7、熟悉 Docker、Kubernetes 等容器云原生技术并有实际使用经验者优先考虑; 8、具有良好的代码编写习惯并具备 DDD 领域驱动设计、面向对象设计等开发思想,有较好的独立主动发现、分析、解决问题的能力;
-
技术支持工程师-长沙 (MJ000801)
[长沙·岳麓区] 11:35发布13k-20k 经验3-5年 / 本科工具类产品,软件服务|咨询,IT技术服务|咨询 / 不需要融资 / 500-2000人【岗位1】 岗位职责 1、负责支付宝开放产品/行业方案的技术支持、技术咨询等工作; 2、对一线技术支持升级的疑难问题进行兜底,对客户问题的最终解决负责,提高客户接入效率; 3、从客户咨询数据中敏锐地发现优化机会,并进行深入分析,为产品优化提供数据支撑和行动建议; 4、不断提升问题解决效率,包括但不限于通过智能服务、文档、排查工具等方式,提高客户问题自助解决和排查效率; 岗位要求 1、计算机相关专业本科及以上学历,2年以上Java/小程序研发或者技术支持经验; 2、Java基础扎实,熟悉Java虚拟机原理、Java高级特性和类库、Java网络与服务器编程、Java多线程编程以及常见开源产品,同时具备一定前端技术背景优先考虑; 3、有良好的信息总结归纳能力,及技术文档撰写能力; 4、责任心强,具备客户服务意识,善于团队协作,有良好的思维逻辑性、语言表达能力; 5、业内各大开放平台从事研发支持工作背或有较长实际集成经验优先考虑; 【岗位2】 我们团队主要负责蚂蚁国际钱包科技售后技术支持服务,在这里你可以学习到最前沿的电子支付技术架构以及产品。 我们主要业务方向是将国内成熟的移动支付的技术服务到海外不同的国家和地区,为当地用户带来移动支付的便利。 包括东南亚 印尼Dana, 马来TNGD,菲律宾GCash,韩国Kakaopav. 印度Paytm,南非Vodapay 岗位职责 1、负责对蚂蚁金服国际的本地合作伙伴提供微服务的售后支持,及平台组件的相关咨询支持服务 2、带领团队负责对蚂蚁金服国际的本地合作伙伴提供技术赋能后的技术支持咨询服务和合作伙伴的关系管理; 3、能够带领团队建立紧急事件响应体系及时响应和高效处理本地合作伙伴的紧急重要业务事件,确保本地合作伙伴关键业务系统稳定 健康的运行在蚂蚁技术平台上; 4、在通过和本地合作伙伴的工作中,可以捕捉,识别对合作伙伴重要的的技术产品资源和流程需求,协调蚂蚁金服内部相关团队有 效支持和赋能本地合作伙伴; 5、能够通过远程服务的方式,定位分析技术服务请求,快速解决问题,并提供让本地合作伙伴 信服的技术支持服务和服务体验。 岗位要求 1.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决系统层的各类问题;熟悉容器的使用以及运维 2.了解Hadoop/HBase/Hive/Spark/Katka/Zookeeper/ELK等开源项目的安装与调试,升级扩容和优化; 3. 至少熟练掌握 Java/Shel/SQL脚本语言; -
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型
-
岗位名称:搜索、推荐算法工程师 岗位职能:算法工程师 工作年限:3-5年 学历要求:硕士及以上 工作职责: 负责如下场景的模型训练以及落地 1、自然语言处理场景;任务举例:文本分类、实体识别、query 分析、分词、情感分析等; 2、搜索、推荐召回场景;任务举例:基于 Query 的召回、基于 item 的召回等; 3、搜索、推荐精排场景; 岗位需求: 1、对数据敏感,具有优秀的逻辑思维能力,善于分析问题,解决问题; 2、精通主流深度学习框架:Tensorflow、PyTorch 等; 3、深刻理解机器学习和深度学习算法原理;对 query 分析、相关性、召回模型、机器学习 排序有深刻的理解和应用经验; 4、深刻理解深度学习算法的训练,可根据不同业务场景对模型本身进行调优,精通训练数 据的构造、训练超参的调整; 5、熟悉主流 NLP 算法及推荐算法,比如:BERT 模型、DSSM、ESMM、CRF、GNN 等; 6、有复现论文模型的相关经验; 7、有深度学习部署框架(Triton、Onnx、TFServing 之一)相关业务应用的落地经验; 8、了解大数据(Spark、Hive)技术; 9、熟悉 Java,有工程落地经验者优先;
-
职位描述: 商机平台致力于打造完善的流量商业化产品矩阵,提供贝壳全业务场景基于C端展位的一站式流量分发(商机分配)解决方案和完备的商机(回收、识别、溯源等)数据能力体系,提升C端用户找房体验,营造经纪业务健康作业生态,迭代产运经营管理效率。 1、参与C端日均10亿+展位流量分发业务网关、分发引擎系统架构持续迭代,保障系统高可用、稳定性、扩展性; 2、参与商机分配策略开放平台,包含但不限于特征工程、策略编排、策略推荐、策略仿真等基础能力持续建设; 3、参与B端商机运营管理系统,包含但不限于商机管理、商机诊断、准入限流、商机溯源分析、策略仿真测算等领域线上化系统持续建设; 4、深入与产品形成协同,将技术应用到业务场景; 5、推动技术创新与研发提效,完善平台建设,助力业务目标达成。 职位要求: 1、计算机相关专业本科及以上学历,深入理解计算机原理,有扎实的数据结构和算法基础; 2、深入理解Linux系统及其原理,熟悉TCP/IP、HTTP协议以及网络编程;深刻理解面向对象开发,具有较好的业务分析和复杂系统设计能力; 3、优秀的工程架构能力,良好的代码风格和文档习惯,有中大型系统的设计和性能优化能力; 4、精通Java等语言,熟练使用MySQL/Redis/ES/HBase等存储技术,Kafka等消息中间件,Dubbo等分布式系统中间件,Spark/Flink等海量数据处理技术; 5、具有较强的业务需求分析、问题定位能力,能够高效沟通;具备较强的学习能力和主动性,有饱满的工作热情,勇于挑战; 6、有广告投放、流量分发、策略推荐、海量数据处理等相关行业经验者优先。
-
20k-40k 经验1-3年 / 本科内容资讯,短视频 / D轮及以上 / 2000人以上职位职责: 我们正在寻找AI/ML技术的技术专家,包括计算机视觉(CV),自然语言处理(NLP)和音频信号处理。您将负责与各种利益相关者(产品、运营、政策和工程)合作,并开发最先进的模型。 1、利用自然语言处理、机器学习或计算机视觉等内容理解能力设计和构建产品核心能力,提取数据洞察并优化变现策略; 2、基于最新的深度学习、机器学习、统计和优化技术的算法开发创新性解决方案并构建业务问题原型; 3、从0到1管理数据项目,并与产品经理协作定义用户故事和成功指标来指导开发过程; 4、使用不限于AB测试等方法验证项目的商业价值和预计收益; 5、与工程团队合作部署数据模型并将解决方案规模化。 We are looking for generalists and specialists in AI/ML techniques, including computer vision (CV), natural language processing (NLP), and audio signal processing. You will be responsible for partnering with a variety of stakeholders (product, operations, policy, and engineering) and developing state-of-the-art models. 1. Design and build core capabilities by leveraging content understanding; capabilities, such as natural language processing, machine learning, or computer vision, to extract insights and improve monetization strategies; 2. Develop creative solutions and build prototypes for business problems using algorithms based on the latest deep learning, machine learning, statistics, and optimization techniques; 3. Independently manage data projects from 0 to 1, and collaborate with product managers to define user stories, and success metrics to guide the development process; 4. Verify the business value and estimated revenue of the project using methods such as AB testing; 5. Collaborate with engineering teams to deploy and scale data science solutions. 职位要求: 1、了解统计学,机器学习和分析的基本数学基础知识; 2、至少 3 年数据分析经验,具有 ML/DL 和 CV/NLP/Speech 之一的行业经验; 3、具有探索性数据分析、统计分析和假设检验以及模型开发的经验; 4、精通 SQL、Hive、Presto 或 Spark,并具有处理大型数据集的经验; 5、熟练掌握Python和SQL,以及tensorflow、pytorch等ML/DL框架; 6、清楚地了解数据pipeline、模型开发、模型测试和部署; 7、有 CI/CD(如 git)和云服务(如 AWS/GCP/Azure)的经验者优先; 8、具备英文沟通能力强;能够以易于理解的方式向技术/非技术同事传达分析和技术内容; 9、具有求知欲以及出色的解决问题和量化能力,包括拆解问题、找出根本原因并提出解决方案。 1. Knowledge of underlying mathematical fundamentals in statistics, machine learning and analytics; 2. At least 3 years experience in data modeling/analysis, with industry experience in ML/DL and one of CV/NLP/Speech; 3. Experience with exploratory data analysis, statistical analysis and hypothesis testing, and model development; 4. Fluency in SQL, Hive, Presto, or Spark and having experience working with large datasets; 5. High proficiency in Python and SQL, and ML/DL frameworks such as tensorflow, pytorch; 6. Clear understanding of data pipeline, model development, model testing and deployment; 7. Experience in CI/CD such as git and cloud services such as AWS/GCP/Azure will be highly desirable; 8. Advanced English with good communications skills; able to communicate analytical and technical content in an easy to understand way to both technical and non-technical audiences; 9. Intellectual curiosity, along with excellent problem-solving and quantitative skills, including the ability to desegregate issues, identify root causes and recommend solutions.
-
职位职责: 字节跳动ByteDance Research致力于人工智能领域的前沿技术研究,涵盖自然语言处理、计算机视觉、机器学习、机器人、AI for Science、Responsible AI等多个领域,同时将研究成果落地,为公司现有的产品和业务提供技术支持和服务。 1、为视频生成模型训练生产高质量的训练数据; 2、负责/参与搭建数据生产工作流,并能够持续提升数据生产的效率、稳定性和易用性; 3、与算法工程师密切配合,理解视频生成模型研发流程,负责/参与模型生成中数据解决方案的设计、开发和维护;同时能够探索业界前沿的多模态数据处理相关技术,并应用到数据生产中。 职位要求: 1、计算机及相关专业本科或本科以上学历,良好的沟通和团队协作能力; 2、具有3年以上数据处理或模型训练相关经验,熟悉图像或视频数据处理方法; 3、精通Python或Golang至少一种编程语言;且能够熟练使用图像或视频数据处理库,实现具有高性能、高扩展的数据处理算法; 4、熟悉大数据分布式处理框架Spark、Flink、Hadoop、Ray者优先; 5、具有海量图像或视频数据处理、平台建设者优先。
-
岗位职责: (1)负责民生卡大数据管理、分析、挖掘,开展相关数据应用建模; (2)制定相关数据标准,包括元数据、数据质量、数据标准和流程管理等; (3)负责数据分析、加工、清洗、处理程序的开发,数据治理技术优化及开发; (4)通过技术手段,提升数据链路分析能力,维护血缘准确性、协助跟进日常数据质量问题; (5)对业务部门的数据分析需求给予实现与支持; (6)负责领导交办的其他工作。 任职资格: (1)计算机相关专业本科及以上学历,3年以上大数据开发工作经验; (2)熟练掌握Hadoop、Spark、Kafka等大数据处理技术和工具; (3)熟悉SQL,具备数据库设计、优化和性能调优能力; (4)熟悉Java或Python等至少一种编程语言,具备良好的编程习惯和代码规范; (5)具备良好的问题分析和解决能力,能独立承担项目开发任务; (6)具备良好的沟通能力和团队协作精神,能适应高强度的工作压力; (7)优秀的学习能力和创新意识,对大数据领域有浓厚的兴趣和热情。
-
工作职责: 1、负责贝壳大数据平台工具的开发和维护 2、参与大数据框架优化和源码定制开发 岗位要求: 1、熟悉JAVA体系架构,熟悉常见数据结构、多线程并发、JVM等,精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ,Http等常见网络协议 ; 3、熟悉Hadoop生态圈技术,包括HDFS、MapReduce、HBase、Hive、Zookeeper等,熟悉主流实时处理技术,如Spark、Flink、kafka、pulsar,提交社区patch者优先 4、良好的思维习惯及沟通能力,具有较强的主动意识,乐于接受挑战 5、具有较强的学习能力和问题解决能力
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。