-
岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
-
岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
-
【岗位职责】: 1、负责设计和开发网络爬虫系统,完成关键信息的数据抽取、清洗、去重、分析等: 2、负责爬虫相关技术的研究和实现工作,比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等: 3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略: 4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量: 5、实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性; 6、有良好的编码能力,逻辑思维缜密,能独立分析解决问题。 【任职要求】 1、本科及以上学历,计算机相关专业: 2、至少3年及以上爬虫经验: 3、精通Python语言,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力; 4、熟悉Mysql,redis,有过数据库调优和海量数据存储经验优先; 5、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究: 6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 7、熟悉常用网络协议、数据存储和数据处理技术。 8、熟悉linux系统环境、命令,shell、python脚本编写; 9、熟悉常见爬虫框架(如Scrapy),有大规模爬虫系统开发经验; 10、有机票行业从业经验优先。
-
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 负责设计和开发高效的抓取系统 跟踪和研究前沿技术,不断优化抓取系统 岗位基本需求 1、计算机基础扎实,具备扎实的编程能力。 2、拥有2年以上抓取技术经验,熟悉各种抓取工具和技术。 3、熟练掌握 WEB 和 APP 协议分析,能够快速定位和解决问题。 4、对常见加解密算法、常见的安全协议、抓取攻防技术有深入了解。 5、良好的沟通能力和团队协作精神。 具备以下者优先 1、具备互联网大厂爬虫经验者优先 2、具备大模型数据建设经验者优先 岗位亮点 1. 紧跟人工智能行业进展,接触到前沿技术和行业趋势,磨练出对人工智能的独到见解; 2. 参与超大规模抓取系统建设,拓宽技术视野和技术栈; 3. 参与AI大模型的数据建设全流程,了解从理论到工程实践的全面技能; 4. 与一流的人工智能团队合作,快速成长,提升自身能力; 5. 有机会参与公司的创新项目,跨足不同领域,拓宽人工智能技术的应用范围;
-
基础研发平台是美团的核心技术平台,立足于“零售+科技”的战略定位,通过打造人工智能、大数据、云计算、安全等核心技术能力,以及研发效能平台、企业应用平台等公共服务,为业务提供稳定安全、扩展易用、技术领先的平台技术和产品服务。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 负责设计和开发高效的抓取系统 跟踪和研究前沿技术,不断优化抓取系统 岗位基本需求 1、计算机基础扎实,具备扎实的编程能力。 2、拥有2年以上抓取技术经验,熟悉各种抓取工具和技术。 3、熟练掌握 WEB 和 APP 协议分析,能够快速定位和解决问题。 4、对常见加解密算法、常见的安全协议、抓取攻防技术有深入了解。 5、良好的沟通能力和团队协作精神。 具备以下者优先 1、具备互联网大厂爬虫经验者优先 2、具备大模型数据建设经验者优先 岗位亮点 1. 紧跟人工智能行业进展,接触到前沿技术和行业趋势,磨练出对人工智能的独到见解; 2. 参与超大规模抓取系统建设,拓宽技术视野和技术栈; 3. 参与AI大模型的数据建设全流程,了解从理论到工程实践的全面技能; 4. 与一流的人工智能团队合作,快速成长,提升自身能力; 5. 有机会参与公司的创新项目,跨足不同领域,拓宽人工智能技术的应用范围;
-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
岗位职责: 1. 负责爬虫业务线的开发迭代,完成多平台信息和页面内容、接口的抓取工作; 2. 负责信息数据的抽取、清洗、整理等工作; 3. 负责爬虫系统的优化,监控和报警,提高爬虫脚本的稳定性和抓取效率。 任职要求: 1. 本科及以上学历,2年以上独立Python爬虫开发经验; 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块; 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架,熟悉反爬策略与应对方案; 4. 熟悉Linux开发环境,熟悉 MySql / Mongodb / Redis的基本原理,有数据清洗经验的优先; 5. 有django、flask、tornado等web框架(之一即可)的使用经验,有web项目经验的优先; 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力; 7. 有责任心,能够积极主动的发现和解决问题,化解风险。 如果您成为我公司员工,您将获得: 薪资:中电博亚将为员工提供行业内有竞争力的薪酬,确保优秀员工获得更多的认可和激励; 奖金:优秀的您将共享公司的经营业绩,奖金额度与公司年度收益及个人绩效挂钩; 基本保障福利:公司按照国家规定为员工缴纳社会保险及公积金(五险一金); 额外补充福利:餐补、车补等日常津贴,下午茶零食咖啡无限量供应; 休假:相对弹性工作制;每周双休;除国家规定的法定节假日外,将给予额外的带薪年假和带薪病假。 我们虽然独树一帜,却并不冰冷; 我们虽然行事严谨,却并不死板; 我们不害怕年轻,只害怕创意枯竭; 我们不害怕失败,只害怕止步不前; 我们喜欢朝气蓬勃的你,一起用对游戏的热爱一起创造辉煌; 我们喜欢无所畏惧的你,前人没有走过的路就让我们来开辟; 那个关于游戏的梦想,你还记得吗? 我们期待你的加入!
-
工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制; 2、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量; 岗位要求: 1.3年以上python爬虫经验,专科及以上学历,计算机相关专业,有企业数据经验优先; 2.熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3.精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具。; 4.具有js逆向,app逆向相关经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5.具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力;
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
岗位职责: 有爬虫相关的背景,熟悉python,web开发,熟悉SQL,有相关的后台开发能力 了解基本的数据处理流程,数据交付流程(BI报表分析) 要求有大数据开发经验的优先,懂得分布式;
-
工作职责: 1、主导和参与爬虫系统的架构设计、开发与优化 2、根据业务诉求,攻克APP、Web、H5等应用并采集相关数据 3、实时监控爬虫任务的执行状况,及时处理爬虫异常,保障采集数据稳定性 任职要求: 1、2年以上爬虫开发经验; 2、熟练掌握python相关的爬虫库和爬虫框架,对redis,rabbimq,kafka等中间件有应用能力 3、熟悉掌握Mysql,Hive开发,具有数仓思维且有一定的开发经验,有丰富的sql的应用能力,必备项; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段,具有丰富的相关能力; 5、近期具有电商平台抓取经验、在App逆向方面有深入研究者优先
-
岗位职责: 1. 负责设计和实施复杂的分布式网络数据采集系统,包括财经及其他相关信息的深度抓取、分析和处理; 2. 研发先进的爬虫策略和防反爬策略,持续优化数据抓取效率和准确性,抵御各类屏蔽和反爬措施; 3. 领导爬虫项目的开发工作,制定和评审技术文档,确保代码质量和系统稳定性; 4. 督导和指导团队成员针对复杂场景进行问题分析和解决,快速定位并修复爬虫系统中的技术难题; 5. 与团队协作,参与新技术调研和前瞻性技术方案的设计,提供技术咨询和支持。 岗位要求: 1. 具备5年以上的爬虫开发经验,深入了解Python和至少一个主流的爬虫框架,如Scrapy、BeautifulSoup等; 2. 精通网络协议,有丰富的模拟请求、浏览器模拟、人机交互对抗、移动App逆向分析、JavaScript/AST解混淆等经验; 3. 有处理大规模数据采集和处理经验的候选人优先考虑; 4. 精通数据结构和算法设计,有解决高并发、数据一致性等复杂技术问题的实战经验; 5. 具有优秀的分析问题和解决问题的能力,能独立作业并具备良好的指导与团队协作精神; 6. 对爬虫技术发展保持持续关注,能快速学习并应用新技术解决实际问题; 7. 具备node.js开发经验以及参与过开源爬虫项目的候选人优先考虑; 8. 强烈的责任心以及扎实的编码规范意识,能够承担项目的核心开发和技术攻关工作。 公司福利: 1、周末双休,国家法定节假日休假,员工带薪年假; 2、试用期开始购买五险一金; 3、公司提供午餐补贴; 4、茶水间饮料零食;节日福利,生日福利; 5、个人评优奖; 6、公司年会活动,抽奖礼物等。
-
任职条件: 1、两年以上相关工作经验,熟悉Python语言,掌握常用的爬虫框架(如Scrapy、Beautiful Soup等)。 2、具备较强的网络编程基础,熟悉HTTP/HTTPS协议及其请求响应流程。 3、了解常见的反爬虫技术及应对方法。 4、具备良好的数据结构和算法知识,能够解决爬取过程中的各种数据处理问题。 5、善于学习、喜欢钻研软件方面的技术,具有较强的抗压能力。 6、学习能力强,能够快速掌握新技术和新工具 7、解决常见的反爬虫问题 工作内容 1、根据需求和设计文档编写爬虫程序,并实现数据爬取、解析、清洗等功能。 2、负责爬虫程序的调试、优化和维护工作,确保数据准确性和稳定性。 3、针对反爬虫机制进行研究和应对,确保爬虫程序的可用性。 4、整合多个数据源并进行数据融合,输出高质量的数据产品。 5、与其他团队(如数据分析、产品、运营等)协作,满足业务需求。 优先项 1,拥有Scrapy爬虫调度、编排经验优先