• 30k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
  • 内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有互联网风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于SQL/PySpark/Flink等; 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险。
  • 10k-15k·13薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    平时可以阅读英文的计算机API文档,并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣,如果不符合以上条件,请勿投递,谢谢。 工作职责: 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘,并对逆向数据进行采集抓取; 2、爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、有过Akamai,Perimeterx经验的优先; 任职需求: 1、应届毕业生,熟练掌握Java语言; 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具,具备逆向分析能力; 3、熟悉各种通用加解密算法,有一定的脱壳反混淆,反调试经验; 4、熟悉常见的Xposed hook技术,注入技术,常见安全产品绕过等技术; 5、做事有责任感,具有良好的逻辑思维,很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式,根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假; 3、13薪及每年全员调薪,根据入职时间、工作表现和企业经营状况; 4、补充医疗保险及每年健康体检; 5、旅游补贴及公司团建; 6、每周供应2次免费午餐; 7、节假日礼品卡福利及节日下午茶供应。
  • 20k-30k·14薪 经验1-3年 / 本科
    软件服务|咨询,数据服务|咨询 / C轮 / 500-2000人
    工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
  • 15k-20k 经验1-3年 / 本科
    移动互联网,社交 / 不需要融资 / 2000人以上
    岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
  • 22k-35k·13薪 经验3-5年 / 本科
    金融 / 不需要融资 / 150-500人
    目前招聘画像: 1.资深数据爬取经验 2.数据清洗,数据处理(体量在1 T以上) 3.有算法背景,数据挖掘经验 数据处理 了解NLP算法 岗位职责: 1. 负责研究院数据采集工作,包括文本、图片、视频等多种类型数据,持续更新和扩大数据集规模; 2. 根据项目需求,快速进行数据抓取代码和清洗代码开发; 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作; 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求: 1. 985 211优先考虑,计算机相关专业,熟悉计算机基础知识,具有3年及以上爬虫与反爬工作经验; 2. 熟悉linux平台开发,精通Python,熟悉各种爬虫框架和工具,掌握验证码识别技术、js逆向等常用反爬技能; 3. 熟悉大数据处理的流程以及熟练使用相关的工具,具备使用、维护、调优的能力,包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等; 4. 熟悉Socket网络编程,多线程/进程/异步code的开发,掌握TCP/IP,UDP及常见变种网络通信协议,熟练使用工具对网络协议进行报文分析和调试,熟练使用正则表达式,xpath等匹配方法,能够快速从原始数据中提取有用信息; 5. 良好的沟通能力,抗压能力强,能独立解决开发过程遇到的各类问题; 6. 有大规模项目爬取工作经验优先,有大数据处理工作经验优先。
  • 20k-40k 经验3-5年 / 大专
    企业服务,工具 / 不需要融资 / 15-50人
    职位描述 岗位职责: 1、负责分布式数据采集系统的设计、APP等平台信息的抓取与分析工作 2、根据业务需求进行数据抽取、清晰和加工等 3、参与爬虫算法和策略优化,实时监控爬虫进度和警报反馈 任职要求: 1、**大专以上学历 2、计算机及相关专业,3年以上网络爬虫工作经验 3、熟练掌握python、SQL语言,熟悉Scrapy等爬虫技术 4、熟悉数据抽取、清洗、加工,常见爬虫开源框架及反爬策略,具有分布式计算开发经验 5、熟悉主流APP的移动安全保护机制及对抗方法 6、熟悉Android APP逆向分析 java/native方向均可,或iOS APP的逆向分析
  • 20k-30k 经验5-10年 / 本科
    工具 / 未融资 / 少于15人
    非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
  • 20k-30k 经验5-10年 / 本科
    工具 / 未融资 / 少于15人
    非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
  • 30k-50k 经验3-5年 / 本科
    工具 / 不需要融资 / 15-50人
    1、负责设计和开发分布式网络爬虫系统,进行数据抓取和分析; 2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、参与分布式爬虫和数据采集系统的架构设计和开发,快速响应业务变动; 4、负责网络数据抓取规划、定期爬取指定网站的数据; 5、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析; 6、实现数据提取、清洗、结构化、入库、统计分析等需求; 7、研究优化算法,提升爬虫系统的稳定性、可扩展性。 任职要求: 1、熟悉Python和常用的开源库,熟练使用Django/Flask等至少一种主流的web开发框架; 2、熟悉Mysql,mongoDB, Redis,Es,队列等数据库的使用和优化; 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly,webmagic等框架(深入了解其中一种)。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等; 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向,js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项
  • 15k-25k 经验5-10年 / 本科
    移动互联网,金融 / 不需要融资 / 150-500人
    岗位职责: 1. 负责设计和实施复杂的分布式网络数据采集系统,包括财经及其他相关信息的深度抓取、分析和处理; 2. 研发先进的爬虫策略和防反爬策略,持续优化数据抓取效率和准确性,抵御各类屏蔽和反爬措施; 3. 领导爬虫项目的开发工作,制定和评审技术文档,确保代码质量和系统稳定性; 4. 督导和指导团队成员针对复杂场景进行问题分析和解决,快速定位并修复爬虫系统中的技术难题; 5. 与团队协作,参与新技术调研和前瞻性技术方案的设计,提供技术咨询和支持。 岗位要求: 1. 具备5年以上的爬虫开发经验,深入了解Python和至少一个主流的爬虫框架,如Scrapy、BeautifulSoup等; 2. 精通网络协议,有丰富的模拟请求、浏览器模拟、人机交互对抗、移动App逆向分析、JavaScript/AST解混淆等经验; 3. 有处理大规模数据采集和处理经验的候选人优先考虑; 4. 精通数据结构和算法设计,有解决高并发、数据一致性等复杂技术问题的实战经验; 5. 具有优秀的分析问题和解决问题的能力,能独立作业并具备良好的指导与团队协作精神; 6. 对爬虫技术发展保持持续关注,能快速学习并应用新技术解决实际问题; 7. 具备node.js开发经验以及参与过开源爬虫项目的候选人优先考虑; 8. 强烈的责任心以及扎实的编码规范意识,能够承担项目的核心开发和技术攻关工作。 公司福利: 1、周末双休,国家法定节假日休假,员工带薪年假; 2、试用期开始购买五险一金; 3、公司提供午餐补贴; 4、茶水间饮料零食;节日福利,生日福利; 5、个人评优奖; 6、公司年会活动,抽奖礼物等。
  • 20k-40k·13薪 经验5-10年 / 本科
    移动互联网,消费生活 / D轮及以上 / 2000人以上
    岗位职责 担任反爬蓝军,负责公司各业务线核心数据的反爬对抗演练; 熟悉反爬领域的对抗技术,持续分析反爬风控策略,能从攻防视角看问题,持续提升反爬水位; 研究并沉淀各端的攻击场景和攻击手法,搭建体系化的攻防系统、攻击武器库,以攻防手段持续提升安全水位; 结合具体业务场景,定制化攻击手法,以攻助防; 调研并探索业界前沿技术,结合实际攻防形式落地。 岗位要求 熟悉Android/iOS端安全对抗技术,掌握常见的静态分析、动态调试、协议抓包、HOOK等技术原理和框架应用; 熟练掌握主流爬虫攻防技术,对设备指纹/协议破解/模拟点击/人机识别等有较深入的研究 精通反爬风控策略,能够从协议/设备/环境行为/真人化等多角度识别定位,绕过防御系"
  • 15k-25k 经验3-5年 / 不限
    工具,电商 / 不需要融资 / 15-50人
    岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作; 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先;
  • 18k-35k·13薪 经验3-5年 / 本科
    旅游|出行 / D轮及以上 / 500-2000人
    岗位职责 1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息; 2、研发爬虫系统,对自动爬取、数据提取的核心算法和性能效果调优; 3、负责爬虫可视化系统的后台监控、报警模块的开发; 4、优化爬虫算法,增加爬虫成功率,突破各种爬虫难点; 5、确保爬虫系统稳定性,降低系统成本; 岗位要求 1、本科及以上学历,计算机相关专业,3年以上爬虫开发经验; 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架; 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等; 4、熟练掌握 Python/Java/JavaScript 任意语言,Python 优先; 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项 实践过大型爬虫项目; 有知名项目贡献Commit经历; 有高质量的个人技术博客; 具备前端(App、Web)或后端开发能力;
  • 移动互联网,金融 / 不需要融资 / 15-50人
    岗位职责: 1、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警,提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求: 1、计算机或相关专业本科以上学历,5年以上爬虫工作经验; 2、熟练掌握Python开发,有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验,如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制,验证码识别,IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发,能独立安装、配置、搭建开发环境,编写shell脚本 8、对以下社媒平台(快手、红书等)数据有实际抓取经验的优先 9、工作地点可选:北京、上海、合肥、成都、杭州、厦门、广州(公司均有办公室)