工作职责： 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究，难点攻关； 3、实时监控爬虫任务的执行状况，及时处理异常情况 任职要求： 1、**本科及以上学历，1年以上爬虫开发经验； 2、熟练掌握python，掌握selenium、scrapy等相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；

岗位职责： 1.参与数据安全相关系统/数据的开发和维护，保证系统的高可用性和稳定性； 2.参与AI相关数据处理和AI应用研发工作； 3.参与后台系统研效提升相关工作，协调并提升团队研发效率、质量。 岗位要求： 1.掌握Golang/python语言，具备开发能力，同时掌握c++者优先； 2.熟悉Linux操作系统、网络编程，具备调试能力、问题分析能力； 3.关注并了解AI算法和技术，对AI领域有探索热情； 4.具备强烈的进取心、求知欲及团队合作精神，有很强的责任心和较强的沟通协作能力；

负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。 岗位职责∣Responsibilities: 1、熟练掌握Python，熟悉Linux开发环境； 2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息； 3、解决技术疑难问题，包括各种反爬、压力控制等；提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制； 4、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库； 5、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理； 6、开发代码的维护更新，Linux服务器的维护，文档维护； 7、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持； 履职要求∣Requirements: 1、大学本科及以上学历，计算机相关专业，基本的英语阅读能力； 2、耐心、细心，有较强的逻辑思考能力和良好的工作习惯，态度认真负责； 3、有三年及以上的爬虫、数据处理、数据分析经验，有大数据爬虫经验尤佳；有音乐行业经验优先； 4、熟练掌握Python，HTML，JS/CSS等技术；熟悉scrapy，feapder等爬虫框架，有分布式爬虫经验；熟悉正则、xpath等提取方法； 5、熟悉常见的反爬虫技术如文本混淆、验证码、加密破解，api限制等；精通网页抓取原理及技术，熟悉MySQL、Redis、Postgrep等；熟悉Internet基本协议 (如TCP/IP、HTTP等) ； 6、熟悉Linux环境，使用脚本开发维护Linux服务器； 7、具有良好的表达能力，团队合作能力；具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿；

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。

非杭州伙伴可以线上办公！！！ 岗位职责： 1.爬虫开发、与内部系统后端开发对接；负责爬虫系统构架的数据存储设计； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.理解系统数据处理流程以及业务功能需求； 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务； 2、计算机相关专业专科及以上学历(有项目经验可以放宽）； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、有一定的反爬虫对抗经验，分布式爬虫布局； 5、电商类网站爬虫经验优先，有高频爬虫工作经验者优先； 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。

【岗位职责】: 1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等: 2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等: 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略: 4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量: 5、实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性； 6、有良好的编码能力，逻辑思维缜密，能独立分析解决问题。 【任职要求】 1、本科及以上学历，计算机相关专业: 2、至少3年及以上爬虫经验: 3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力; 4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究: 6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 7、熟悉常用网络协议、数据存储和数据处理技术。 8、熟悉linux系统环境、命令，shell、python脚本编写; 9、熟悉常见爬虫框架(如Scrapy)，有大规模爬虫系统开发经验; 10、有机票行业从业经验优先。

岗位职责 1、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责Android、iOS 应用的逆向工作； 4、负责网页/APP 的数据抓取和爬取链路优化（包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等），提升抓取能力； 5、负责手机群控采集数据； 5、破解主流网站和app的反爬机制。 任职要求 1、熟练掌握Python，javascript,熟悉numpy，pandas和skiearn的使用,并有实际开发经验； 2、具备大规模通用爬虫开发经验，熟悉目前主流的一些爬虫框架； 3、熟悉HTTP、TCP等网络协议及数据抓包、分析； 4、熟练掌握至少一种数据库，有 MongoDB 或MySQL开发和维护经验者优先； 5、熟悉hive，Hadoop，spark，Hook，能独立解决实际开发过程碰到的各类问题； 6、加分项：精通软件逆向工程，精通软件加密解密知识，精通各种软件逆向工程开发工具的使用； 熟悉软件逆向分析流程，能够独立完成软件逆向工作；有成功逆向过的经历。

岗位职责 1、负责爬虫技术研究以及爬虫策略优化； 2、设计和开发高效、可靠的网络爬虫，用于抓取目标网站的数据。 3、实现数据解析、清洗和结构化，确保数据的准确性和可用性。 4、处理和优化爬虫策略，包括但不限于动态内容抓取、用户代理轮换、IP代理管理等。 5、与业务团队合作，理解业务需求并提供定制的数据解决方案。 任职要求 1、熟悉Python编程语言； 2、熟悉JS逆向； 3、熟系网络协议和Web应用的工作原理； 4、具备基本的数据库知识，能够处理和存储大量数据； 5、良好的编程习惯，包括代码版本控制； 6、账号池设计，验证码处理，自动化处理方案； 7、对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考能力和逻辑分析能力；

岗位职责： 1. 负责设计、开发和维护高效、稳定的爬虫系统，从各种在线数据源中抓取和解析数据，以实现自动化数据采集和更新。 2. 熟练使用Python或其他相关语言进行爬虫开发，拥有扎实的编码和调试能力，并能够编写高质量的可维护代码。 3. 精通各种爬虫框架和工具，如Scrapy、BeautifulSoup、Selenium等，能够根据需求灵活选择和使用，同时熟悉反爬虫机制的解决方案。 4. 具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等。 5. 深入理解网络协议和网页结构，能够处理复杂的页面结构和动态内容，熟悉前端技术和相关工具。 6. 熟悉数据库（如MySQL、MongoDB）的使用，能够设计和优化数据存储和查询方案，具备数据清洗和处理的能力。 7. 能够分析和解决爬虫中的技术难题，如验证码处理、IP代理池、请求优化、反反爬虫等，并具备相应的工程实践经验。 任职要求： 1.本科及以上学历，计算机科学等相关专业背景优先考虑. 2. 具备卓越的沟通和团队合作能力，能够与产品、运维等团队紧密合作，理解并满足业务需求，完成项目目标。 3. 对新技术和行业动态保持敏感，具备持续学习和创新的精神，能够应用新的爬虫技术和工具，推动技术的发展。 4.具备责任心和良好的团队协作精神，乐于沟通交流和分享，充满激情，乐于接受挑战。

工作职责 1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等）； 2、根据公司各个业务需求，爬取全网来源的数据，解决各类反爬问题； 3、参与爬虫平台架构演进、稳定性治理及性能调优。 4、及时响应各目标迭代策略，保障数据精准。 职位要求 1、熟悉爬虫工作原理，深入了解至少一种主流爬虫框架的架构及原理，如 Scrapy；
 2、**本科及以上学历，三年以上爬虫工作经验，有大规模数据爬取经验； 
3、技术扎实，熟练掌握主流爬取技术，如协议破解、模拟点击等；熟悉掌握常用框架，如Selenium/Puppeteer/Splash等； 4、具备实际爬虫编写能力，至少熟练掌握Python/Go/Java等其中一种语言；
 5、具备良好的前端分析能力，对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验； 6、具备良好的文档编写及协作能力。自我驱动，执行力强，有攻坚精神；对学习有热情，追求技术进步。 岗位亮点 1、公司核心业务的开发，工作饱和度高，成就感强； 2、集团公司重点项目研发，受到高层领导的高度关注和认可。

岗位职责： 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进 职位要求： 1.熟悉JAVA/Python/go任意语言，有java开发经验更佳 2.熟悉常见反爬封禁策略，并具备相关的经验优先考虑 3.具备良好的沟通表达能力，有一定的产品意识 4.自我驱动，执行力强，有攻坚精神，能挑战自我不断追求卓越岗位职责： 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进 职位要求： 1.熟悉JAVA/Python/go任意语言，有java开发经验更佳 2.熟悉常见反爬封禁策略，并具备相关的经验优先考虑 3.具备良好的沟通表达能力，有一定的产品意识 4.自我驱动，执行力强，有攻坚精神，能挑战自我不断追求卓越

岗位职责： 1. 需要保证每天获取的总数居量的获取 2. 负责js逆向，能够在网站更新时，及时更新（极验，rs等）

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。

工作内容： 1. 负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库； 2. 负责用python语言实现产品的后端研发； 3. 负责高质量的设计和编码； 4. 承担重难点技术攻坚任务； 5. 参与产品的讨论和开发实现； 岗位要求： 1. 二年以上工作经验良好的计算机基础知识，熟悉常用的数据结构和算法; 2. 能运用python进行各类数据处理，熟悉pandas、numpy等常用python数据处理包，有机器学习相关经验优先; 3. 熟悉python后台开发，有完整的项目开发经验，熟练使用Django或flask框架, 熟悉Restful设计规范； 4. 熟悉Windows及Linux下python的安装、部署及调试以及Docker部署; 5. 熟悉MySQL、SQL 和主流NoSQL数据库 6. 对项目安全性问题和并发问题有一定理解和相应的解决方法 7. 有良好的沟通能力，团队协作能力，对新技术敏感，有良好的代码习惯，结构清晰，命名规范，熟悉设计模式，随时贯彻最优开发思想。