平时可以阅读英文的计算机API文档，并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣，如果不符合以上条件，请勿投递，谢谢。 工作职责： 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘，并对逆向数据进行采集抓取； 2、爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、有过Akamai，Perimeterx经验的优先； 任职需求： 1、应届毕业生，熟练掌握Java语言； 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具，具备逆向分析能力； 3、熟悉各种通用加解密算法，有一定的脱壳反混淆，反调试经验； 4、熟悉常见的Xposed hook技术，注入技术，常见安全产品绕过等技术； 5、做事有责任感，具有良好的逻辑思维，很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式，根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假； 3、13薪及每年全员调薪，根据入职时间、工作表现和企业经营状况； 4、补充医疗保险及每年健康体检； 5、旅游补贴及公司团建； 6、每周供应2次免费午餐； 7、节假日礼品卡福利及节日下午茶供应。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产研团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、3年相关反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉 Web 安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

职位职责： 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责，解决业务痛点问题； 2、提升业务风险感知能力，结合具体场景，数据指标，主动发现问题并提出解决方案，对业务风控效果负责； 3、推动智能化产品落地，不断提升平台化能力，提高风控效率； 4、研究新的产品动向和前瞻探索，借鉴业界的新思路持续优化产品策略，使反爬处于行业领先水平。 职位要求： 1、本科及以上学历，责任心强，思维逻辑严谨，对数据敏感； 2、有互联网风控策略制定经验，从事过反爬虫、流量反作弊方向工作； 3、有互联网安全策略管理经验，包括但不限于风险发现、制定模型或策略、推动方案落地； 4、1年以上策略产品或数据分析工作经验；熟练掌握大数据分析工具使用，不限于SQL/PySpark/Flink等； 5、具备攻防思维，熟练掌握常见的反爬虫技术和数据安全风险。

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】： 1、负责分布式网络爬虫系统及数据库的设计与开发； 2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性； 3、维护和优化已有的爬虫服务； 4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量； 5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理； 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案； 8、可以独立跟进需求项目开发进度。 【任职要求】： 1、计算机相关专业，3年以上Python爬虫工作经验； 2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能； 2、熟悉各类HOOK框架包括单不限于frida、xposed； 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验； 4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法； 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架； 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。

职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度，多样化抓取，页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等，并持续优化 平台，以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX，精通Python语言，至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制，验证码识别，IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗，能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制，周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月，正式入职工资6000~11000。 条件优异者，****

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

1.熟练掌握数据分析方法，包括但不限于 excel 、 tabluea 等 Bl 分析工具使用； 2.熟练掌握sql语句编写，对hive clickhouse 等大数据相关数据库相关sql语法了解熟悉； 3.有python算法开发经验或机器学习＆深度学习开发经验能独立开发相关数据分析算法及模型； 4.会 python、js ，熟悉 mysql ； 5.能爬虫数据，并做数据归纳和分析，同时如果具备后台能力优先。

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

岗位职责： 1、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量 2、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率 3、实时监控爬虫的状态和警报反馈   任职要求： 1、计算机或相关专业本科以上学历，5年以上爬虫工作经验； 2、熟练掌握Python开发，有代码规范和质量意识 3、有日千万级及以上的大规模数据爬虫项目经验 4、有实际大规模使用过消息队列经验，如RabitMq、Kafka等 5、了解并使用过ElasticSearch等分布式搜索引擎库 6、熟悉常见反爬机制，验证码识别，IP代理池、headers认证、cookie等 7、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本 8、对以下社媒平台（快手、红书等）数据有实际抓取经验的优先 9、工作地点可选：北京、上海、合肥、成都、杭州、厦门、广州（公司均有办公室）

我们正在寻找一位经验丰富的高级爬虫工程师，负责开发和维护高性能的爬虫系统，以支持我们的业务需求。作为高级爬虫工程师，您将承担以下责任职责：  1. 设计、开发和维护逆向爬虫系统，涵盖抖音、快手、小红书、天猫或饿了么等平台。 2. 进行安卓逆向工程，分析目标应用程序的加密和防护机制。 3.研究和开发创新的爬虫技术和工具，以确保数据的高质量、高效获取。 4.与团队合作，理解业务需求，并开发相应的爬虫策略和规则。 5.优化现有爬虫系统的性能，确保稳定性和可伸缩性。 6.进行爬虫数据的清洗、处理和存储，以支持后续的数据分析和应用。 任职要求： 1.至少3年以上爬虫开发经验，有抖音、快手、小红书、天猫或饿了么等平台逆向经验。 2.深入了解安卓逆向工程，熟悉加密和防护机制。 3.精通Python编程语言，并熟悉Scrapy框架及相关库。 4.具备编写高性能爬虫的经验，能够有效地处理大规模数据抓取和处理。 5.熟悉数据清洗和处理技术，熟练使用SQL或NoSQL数据库。 6.具备良好的问题解决能力和团队合作精神，能够与不同团队进行有效的沟通和协作。 7.具备良好的学习能力和自主研究能力，能够及时跟踪行业最新动态和技术发展。 加分项： 1.在大型互联网公司拥有相关经验，熟悉大规模爬虫系统的设计和架构。 2.熟悉分布式爬虫架构和消息队列等相关技术。 3.有开源爬虫项目或相关技术文章的贡献经验。 4.拥有海外电商数据开发经验。

岗位职责： 1、负责各类主流电商平台、短视频平台的数据抓取和平台搭建； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作； 4、负责公司爬虫的技术调研以及策略优化； 任职要求： 1、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取； 2、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取，有大数据量、大并发项目经验者优先，有电商网站和移动端数据爬取技术经验者优先； 3、熟悉至少Python、Java、JavaScript中的一种语言；精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先； 4、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先； 5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先

Android/iOS逆向工程师（爬虫资深工程师） 职责描述： 1.负责主流APP(Android或iOS) 应用的逆向工作； 2.负责 APP 的数据获取链路策略制定与优化，包括 Android/iOS APP 反编译、脱壳、关键算法移植等； 3.负责手机群控采集数据; 4.负责解决各类APP端采集技术疑难问题，形成良好的研发氛围，提升团队整体技术水平； 5.负责APP采集新应用及新技术的研究，提升开发及采集效率、降低人力成本； 6.参与设计和开发APP数据的爬取、调度、监控、自动化运行等； 任职要求： 1.计算机相关专业本科及以上学历，3年及以上研发经验，代码风格良好。 2.精通APP逆向分析（android或者iOS任一平台），脱壳、反编译及参数加密破解，反调试；精通任一编程语言。 3.具备丰富的逆向工程经验，有成功逆向案例如头条、抖音、知乎、微信等；  4.熟悉抓包工具，加解密算法，反编译工具（xposed，frida，ida，jeb）等，掌握ARM汇编，smali字节码; 5.具有强烈的责任心，良好的沟通、学习能力，有较强的团队合作意识。 6.加分项：参与过大规模数据采集项目, 数据清洗，了解机器学习流程。

岗位职责：1、负责爬虫系统架构和数据存储设计；2、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善；3、解决常见的反爬虫问题；4、理解系统数据处理流程以及业务功能需求；任职要求：1、2年+爬虫经验，熟练掌握Python；2、熟悉目前主流的一些爬虫框架, 例如scrapy、pyspider等；3、掌握使用fiddler等, 熟练掌握正则表达式, 能够对接mysql/hadoop/hive/hbase/mangodb等数据库；4、有解决复杂的反爬限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制等问题；5、善于独立分析并解决核心问题；6、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；7、有能力阅读英文技术文档的优先考虑；8、对APP脱壳、加密解密技术有深入研究的优先考虑；

探数联盟招聘兼职合伙人，产品是企业级数据采集代理池，合伙人负责推荐使用爬虫代理池的潜在客户，线上不坐班,工作轻松,无KPI,高佣金。   岗位要求 求职者需要了解Python、爬虫或从事过爬虫工程师职业者优先。