• 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 15k-30k·14薪 经验不限 / 不限
    新零售 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
  • 20k-30k·13薪 经验3-5年 / 本科
    旅游|出行 / D轮及以上 / 500-2000人
    岗位职责: - 根据项目需求,负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态,及时处理爬虫异常。 岗位要求: - 本科及以上学历,3年以上工作经验。 - 熟练掌握scrapy,selenium等相关框架,python及爬虫基础扎实。 - 熟悉各类常见的风控措施,熟悉js逆向,app逆向加分,熟悉web前端知识,能解决常见反爬问题。 - 有良好的沟通能力,及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。
  • 7k-12k 经验不限 / 本科
    物联网 / 未融资 / 15-50人
    1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设;  5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等;  5、熟悉代理IP池、Headers认证和Cookie等;
  • 12k-20k 经验1-3年 / 本科
    游戏 / A轮 / 50-150人
    岗位职责: 1. 负责爬虫业务线的开发迭代,完成多平台信息和页面内容、接口的抓取工作; 2. 负责信息数据的抽取、清洗、整理等工作; 3. 负责爬虫系统的优化,监控和报警,提高爬虫脚本的稳定性和抓取效率。 任职要求: 1. 本科及以上学历,2年以上独立Python爬虫开发经验; 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块; 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架,熟悉反爬策略与应对方案; 4. 熟悉Linux开发环境,熟悉 MySql / Mongodb / Redis的基本原理,有数据清洗经验的优先; 5. 有django、flask、tornado等web框架(之一即可)的使用经验,有web项目经验的优先; 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力; 7. 有责任心,能够积极主动的发现和解决问题,化解风险。 如果您成为我公司员工,您将获得: 薪资:中电博亚将为员工提供行业内有竞争力的薪酬,确保优秀员工获得更多的认可和激励; 奖金:优秀的您将共享公司的经营业绩,奖金额度与公司年度收益及个人绩效挂钩; 基本保障福利:公司按照国家规定为员工缴纳社会保险及公积金(五险一金); 额外补充福利:餐补、车补等日常津贴,下午茶零食咖啡无限量供应; 休假:相对弹性工作制;每周双休;除国家规定的法定节假日外,将给予额外的带薪年假和带薪病假。 我们虽然独树一帜,却并不冰冷; 我们虽然行事严谨,却并不死板; 我们不害怕年轻,只害怕创意枯竭; 我们不害怕失败,只害怕止步不前; 我们喜欢朝气蓬勃的你,一起用对游戏的热爱一起创造辉煌; 我们喜欢无所畏惧的你,前人没有走过的路就让我们来开辟; 那个关于游戏的梦想,你还记得吗? 我们期待你的加入!
  • 15k-20k 经验1-3年 / 本科
    移动互联网,社交 / 不需要融资 / 2000人以上
    岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
  • 20k-30k·14薪 经验1-3年 / 本科
    软件服务|咨询,数据服务|咨询 / C轮 / 500-2000人
    工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
  • 18k-25k 经验不限 / 大专
    工具,电商 / 不需要融资 / 15-50人
    岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作。 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先。
  • 60k-90k 经验5-10年 / 本科
    企业服务 / 不需要融资 / 150-500人
    职位描述: • 负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型 • 研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量 • 把握网络爬虫核心技术研究方向,研究优化策略,提升爬虫系统的稳定性、可扩展性 • 管理并带领爬虫团队完成社交媒体数据(文本、视频、音频和图像)开发工作 职位要求: • 深度参与过至少一个分布式网络爬虫系统的架构设计; • 良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验 • 精通爬虫和反爬技术,精通底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术 • 熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验 • 对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验 • 有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作 • 良好的逻辑能力,善于把复杂问题梳理清晰,责任安排到人,完成情况监督到位
  • 15k-18k 经验3-5年 / 大专
    社交 / 不需要融资 / 50-150人
    一、任职要求(并不表示部分条件未达到则一定不会聘用): 1.熟练使用Python标准库和流行的第三方库,精通Python语言; 2.熟悉以下主流服务器端开源系统或者其中一部分:Redis/MongoDB/RabbitMQ/Memcache/Nginx; 3.熟悉JAVA或想转型Python者优先; 4.熟悉RESTful web service规范、熟悉面向对象的设计思想; 5.熟悉mysql的各种存储引擎,熟悉索引工作原理,有丰富的mysql性能优化经验; 6.重视Code Review,知道良好的编程习惯的标准,对代码和设计质量有严格要求; 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架,至少有其中一个的最佳实践或深入研究过其源码及机制; 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮; 2.收集用户信息;
  • 15k-23k 经验3-5年 / 大专
    社交 / 不需要融资 / 50-150人
    一、任职要求(并不表示部分条件未达到则一定不会聘用): 1.熟练使用Python标准库和流行的第三方库,精通Python语言; 2.熟悉以下主流服务器端开源系统或者其中一部分:Redis/MongoDB/RabbitMQ/Memcache/Nginx; 3.熟悉JAVA或想转型Python者优先; 4.熟悉RESTful web service规范、熟悉面向对象的设计思想; 5.熟悉mysql的各种存储引擎,熟悉索引工作原理,有丰富的mysql性能优化经验; 6.重视Code Review,知道良好的编程习惯的标准,对代码和设计质量有严格要求; 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架,至少有其中一个的最佳实践或深入研究过其源码及机制; 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮; 2.收集用户信息;
  • 20k-30k 经验3-5年 / 本科
    企业服务 / 未融资 / 500-2000人
    岗位职责: 1、负责定期爬取指定网站(如抖音、小红书、快手等)的公开数据,为业务部门提供数据支持; 2、负责相关数据的采集、清洗、解析、入库; 3、通过任务监控,优化采集策略等方式,提升网页抓取效率和质量; 4、负责Python工程与其它开发语言业务系统对接,解决Python工程与其它业务系统互通问题。 任职资格: 1、本科及以上学历,5年以上python采集开发经验; 2、精通Python,有 nodejs经验优先考虑; 3、精通 JavaScript 逆向,有 app 采集经验优先考虑; 4、具有规范、标准化的代码编写习惯,具备良好的技术文档编写能力; 5、具有良好的团队合作精神,为人正直、勤奋、踏实,有责任感,并能注重细节追求卓越; 6、有较强的学习能力,工作责任心强、积极乐观,有激情及较强的自我驱动能力,愿意接受挑战。
  • 9k-10k 经验3-5年 / 大专
    企业服务 / 未融资 / 50-150人
    ▋工作年限 5年工作经验以上 ▋年龄要求 28-35之间 ▋学历要求 大专及本科以上 ▋岗位要求 1.熟练使用Python语言和PyQt界面开发,能够独立解决问题 2.有数据采集、手机端/PC端/WEB网页浏览器自动化经验 3.熟悉HTTP(s)、WEBSOCKET(s)协议,熟悉抓包分析数据 4.有Playwright、Airtest、Appium、Selenium、Uiautomation、UIAutomator2、PyAutoGUI其中一个框架的使用经验 5.熟练使用MySQL/SqlServer/Oracle/MangoDB任一数据库,和RestAPI开发 6.对Windows/Linux/Android操作系统的基本操作 7.能够独立调试代码和分析测试失败的原因,具备解决复杂问题的能力 8.与开发团队、产品团队及其他相关方有效沟通,确保测试需求和结果被正确理解 9.软件开发和测试技术不断更新,保持学习新工具和技术的能力非常重要 ▋岗位职责 负责甲方的推广引流软件开发(用户采集、拉人进群、建立社群、自动推广) ▋试用期 3个月
  • 7k-14k 经验1-3年 / 不限
    企业服务,工具 / 天使轮 / 15-50人
    特别提醒:人不在深圳的不要随便投递简历。谢谢。 1、负责业务端数据稳定抓取、存储; 2、沟通产品需求,建立机器学习模型并不断优化 3、能够独立完成系统模块开发; 4 年及以上实际开发经验,精通python语言开发,同时掌握其他语言优先; 5、精通爬虫和反爬技术,精通http底层协议,linux基本命令;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术; 6、熟练使用mysql数据库、ES集群、redis、js逆向、正则提取; 7、熟悉机器学习,了解深度学习框架,有实际开发者优先; 8、有开发爬虫框架经验优先,熟悉反爬虫、验证码识别技术者优先; 9、逻辑清晰,专注技术有追求有热情,良好的团队合作精神及学习能力;
  • 20k-30k 经验5-10年 / 本科
    工具 / 未融资 / 少于15人
    岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO/RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。