职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产研团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、3年相关反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉 Web 安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

职位职责： 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责，解决业务痛点问题； 2、提升业务风险感知能力，结合具体场景，数据指标，主动发现问题并提出解决方案，对业务风控效果负责； 3、推动智能化产品落地，不断提升平台化能力，提高风控效率； 4、研究新的产品动向和前瞻探索，借鉴业界的新思路持续优化产品策略，使反爬处于行业领先水平。 职位要求： 1、本科及以上学历，责任心强，思维逻辑严谨，对数据敏感； 2、有互联网风控策略制定经验，从事过反爬虫、流量反作弊方向工作； 3、有互联网安全策略管理经验，包括但不限于风险发现、制定模型或策略、推动方案落地； 4、1年以上策略产品或数据分析工作经验；熟练掌握大数据分析工具使用，不限于SQL/PySpark/Flink等； 5、具备攻防思维，熟练掌握常见的反爬虫技术和数据安全风险。

工作职责： 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究，难点攻关； 3、实时监控爬虫任务的执行状况，及时处理异常情况 任职要求： 1、**本科及以上学历，1年以上爬虫开发经验； 2、熟练掌握python，掌握selenium、scrapy等相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；

岗位职责： 1.参与数据安全相关系统/数据的开发和维护，保证系统的高可用性和稳定性； 2.参与AI相关数据处理和AI应用研发工作； 3.参与后台系统研效提升相关工作，协调并提升团队研发效率、质量。 岗位要求： 1.掌握Golang/python语言，具备开发能力，同时掌握c++者优先； 2.熟悉Linux操作系统、网络编程，具备调试能力、问题分析能力； 3.关注并了解AI算法和技术，对AI领域有探索热情； 4.具备强烈的进取心、求知欲及团队合作精神，有很强的责任心和较强的沟通协作能力；

负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。 岗位职责∣Responsibilities: 1、熟练掌握Python，熟悉Linux开发环境； 2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息； 3、解决技术疑难问题，包括各种反爬、压力控制等；提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制； 4、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库； 5、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理； 6、开发代码的维护更新，Linux服务器的维护，文档维护； 7、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持； 履职要求∣Requirements: 1、大学本科及以上学历，计算机相关专业，基本的英语阅读能力； 2、耐心、细心，有较强的逻辑思考能力和良好的工作习惯，态度认真负责； 3、有三年及以上的爬虫、数据处理、数据分析经验，有大数据爬虫经验尤佳；有音乐行业经验优先； 4、熟练掌握Python，HTML，JS/CSS等技术；熟悉scrapy，feapder等爬虫框架，有分布式爬虫经验；熟悉正则、xpath等提取方法； 5、熟悉常见的反爬虫技术如文本混淆、验证码、加密破解，api限制等；精通网页抓取原理及技术，熟悉MySQL、Redis、Postgrep等；熟悉Internet基本协议 (如TCP/IP、HTTP等) ； 6、熟悉Linux环境，使用脚本开发维护Linux服务器； 7、具有良好的表达能力，团队合作能力；具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿；

职位描述 岗位职责： 1、负责分布式数据采集系统的设计、APP等平台信息的抓取与分析工作 2、根据业务需求进行数据抽取、清晰和加工等 3、参与爬虫算法和策略优化，实时监控爬虫进度和警报反馈 任职要求： 1、**大专以上学历 2、计算机及相关专业，3年以上网络爬虫工作经验 3、熟练掌握python、SQL语言，熟悉Scrapy等爬虫技术 4、熟悉数据抽取、清洗、加工，常见爬虫开源框架及反爬策略，具有分布式计算开发经验 5、熟悉主流APP的移动安全保护机制及对抗方法 6、熟悉Android APP逆向分析 java/native方向均可，或iOS APP的逆向分析

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

网络信息安全，爬虫，攻防，全栈技术工程师

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

非杭州伙伴可以线上办公！！！ 岗位职责： 1.爬虫开发、与内部系统后端开发对接；负责爬虫系统构架的数据存储设计； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.理解系统数据处理流程以及业务功能需求； 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务； 2、计算机相关专业专科及以上学历(有项目经验可以放宽）； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、有一定的反爬虫对抗经验，分布式爬虫布局； 5、电商类网站爬虫经验优先，有高频爬虫工作经验者优先； 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。

非杭州伙伴可以线上办公！！！ 岗位职责： 1、负责设计、开发、维护爬虫系统； 2、参与多平台信息的抓取和分析； 3、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量； 5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。 任职资格： 1、熟悉GO或者RUST语言，熟练掌握js反混淆，有实操经验优先； 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、熟悉 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能； 5、有电商类网站爬虫经验优先，有高频爬虫工作经验者优先。

你将参与： 1. 负责海量数据爬虫系统的总体架构、爬取策略设计和研发； 2. 负责反爬、风控对抗策略的研究与实现，提升抓取效率和质量； 3. 根据业务需求实现 Web/App 端的文本、图片、视频数据抓取、清洗、存储等工作。 我们希望你： 1. 两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现； 2. 精通 Java/Python 中的一种或多种，熟悉常用的数据存储（ES、NoSQL、MySQL 等）； 3. 熟悉主流爬取技术及工具，熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具； 4. 熟悉 HTTP/TCP 协议，熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具； 5. 有较丰富反爬实践经验，能解决图片验证码/滑块/账号限制/IP 限制等问题； 6. 良好的代码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低； 7. 强烈的自我驱动，学习能力强，靠谱。 以下是加分项： 1. 具有抖音、Tiktok、亚马逊等社媒、电商平台爬虫经验优先； 2. 具有风控对抗实践经验； 3. 具有 App 逆向经验，熟悉 Xposed 框架、常见 Hook技术，熟悉 Smali/Dedexer/Dexdump/Apktool/Dex2jar/IDA/OLLYDBG 等至少一种； 4. 了解大数据相关生态和工作流； 5. 代码洁癖、严谨、刨根问底； 6. 不喜欢卷，崇尚工具与效率、自由与责任。

【岗位职责】: 1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等: 2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等: 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略: 4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量: 5、实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性； 6、有良好的编码能力，逻辑思维缜密，能独立分析解决问题。 【任职要求】 1、本科及以上学历，计算机相关专业: 2、至少3年及以上爬虫经验: 3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力; 4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究: 6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 7、熟悉常用网络协议、数据存储和数据处理技术。 8、熟悉linux系统环境、命令，shell、python脚本编写; 9、熟悉常见爬虫框架(如Scrapy)，有大规模爬虫系统开发经验; 10、有机票行业从业经验优先。

目前招聘画像： 1.资深数据爬取经验 2.数据清洗，数据处理（体量在1 T以上） 3.有算法背景，数据挖掘经验 数据处理 了解NLP算法 岗位职责： 1. 负责研究院数据采集工作，包括文本、图片、视频等多种类型数据，持续更新和扩大数据集规模； 2. 根据项目需求，快速进行数据抓取代码和清洗代码开发； 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作； 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求： 1. 985 211优先考虑，计算机相关专业，熟悉计算机基础知识，具有3年及以上爬虫与反爬工作经验； 2. 熟悉linux平台开发，精通Python，熟悉各种爬虫框架和工具，掌握验证码识别技术、js逆向等常用反爬技能； 3. 熟悉大数据处理的流程以及熟练使用相关的工具，具备使用、维护、调优的能力，包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等； 4. 熟悉Socket网络编程，多线程/进程/异步code的开发，掌握TCP/IP，UDP及常见变种网络通信协议，熟练使用工具对网络协议进行报文分析和调试，熟练使用正则表达式，xpath等匹配方法，能够快速从原始数据中提取有用信息； 5. 良好的沟通能力，抗压能力强，能独立解决开发过程遇到的各类问题； 6. 有大规模项目爬取工作经验优先，有大数据处理工作经验优先。

职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度，多样化抓取，页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、混淆加密，算法还原，so层，页面跳转等难点攻克，提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等，并持续优化 平台，以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX，精通Python语言，至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制，验证码识别，IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗，能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制，周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月，正式入职工资6000~11000。 条件优异者，****