岗位职责： 1、负责公司社交工具、内容爬虫的开发与维护； 2、使用Go语言实现公司的相关产品； 3、通过单元测试、自动化以及代码审查等提升优化代码质量； 4、负责代码的重构和升级，保证代码的长期稳定性。 任职要求： 1、大专及以上学历，计算机相关专业； 2、熟悉不同的GOLANG组件或框架； 3、熟练掌握MySQL、mongodb、Redis，熟悉Linux者优先； 4、具备多线程理论知识，有多线程程序设计经验优先； 5、有良好的算法基础和清晰的编程思路，具备良好的团队合作精神； 6、有大型互联网后端服务器系统设计开发经验者优先； 7、有社交工具、内容爬虫相关经验者优先。

职位职责： 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、了解机器人流程自动化或爬虫抓取采集相关工作经验； 2、了解主流机器人流程自动化及爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等； 3、熟悉Python语言，具备算法和数据结构能力； 4、熟练使用办公软件，精通Excel常用函数，具备基础数据分析处理能力； 5、优秀的分析、沟通、思考能力，良好的团队合作能力。 职位要求： 1、2025届及以后毕业，本科及以上学历在读，财务管理或计算机相关专业计算机相关专业优先； 2、学习能力强，工作积极主动，有责任心。

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

职位描述： 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责网页采集任务的分析及采集方案设计； 4、负责分布式爬虫策略持续优化。 任职要求： 1、熟悉Java、Python、Shell、R 等至少一门语言； 2、负责分析并采集网站数据，并按照要求对采集的数据进行整理； 3、具有较强的业务分析能力，较好的沟通表达和综合协调能力； 4、责任心强，有快速学习能力，对大数据方向感兴趣。 福利： 大数据行业 热门商圈 弹性工作 远程工作

任职要求： 1. 本科及以上学历 2. 有Python爬虫相关经验，有web端JS逆向经验，熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等，了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列，如rabbitmq，kafka等 加分项： 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验，熟悉ast,frida,objection，能够独立逆向小程序，app等 3. 有爬虫平台相关开发经验，如xxljob等

岗位职责： 熟练掌握在linux（centos，ubuntu）下开发。 熟练掌握mysql，postgresql数据库使用，redis使用。 熟练掌握web页面结构分析，使用chrome，firefox进行包括html，css，js等的解析。可以使用web-driver进行页面模拟交互，熟练使用爬虫。 熟练掌握python，django，flask，vue进行数据分析，计算，数据库存取，web页面开发，解析。 熟练掌握docker，git及上述开发，部署，运维。 具备良好的编码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低；数据结构和算法基础扎实, ACM程序设计比赛获奖者优先； 有实际项目经验者优先考虑。 具备良好代码书写规范，团队合作和分享精神。 对创新技术有着非常强烈的求知欲，愿意不断学习新知识，不断更新自己的技术储备。 有扎实的英语功底，并且能够轻松的阅读英文文档。 职位要求： 1.计算机相关专业专科以上学历在校生，研二优先。 2.能够保证三个月及以上的实习时间，每周至少保证四天及以上出勤，欢迎寒暑期实习。 3. 执行力强，懂得要遵守企业价值观和工作纪律。 4. 工作地点在上海市松江区，可以提供住宿或住宿补贴。 5. 投递简历前请仔细阅读上述能力要求，避免浪费彼此时间。

工作职责： 1、独立负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1. 计算机或相关专业，本科及以上学历； 2. 熟悉软件工程，熟悉常用数据结构和算法； 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本； 5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议； 6. 英语水平达到CET6或以上； 7. 工作细心，认真负责，具备较强的学习能力； 8.了解Git版本管理工具。

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

工作内容： 1、通过编写新的爬虫脚本、通过修复已有爬虫脚本对网站数据进行爬取采集 2、对爬取的速度、质量负责。 3、对爬取回来的数据进行清洗（去重、缺失值、空值、乱码异常值等处理），并且进行数据存储 工作要求： 1、会使用爬虫、能独立编写爬虫脚本爬取数据 2、能够解决爬取数据过程中的反爬机制（JS逆向、验证码、封IP等） 3、能够处理千万级以上数据，保证处理存储的有效性（速度+质量） 4、能接受应届生、勤奋好学、吃苦耐劳

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。

（该岗位为外包岗位，优秀者入职后可转为正式员工） 职责描述： 1、负责网络爬虫，数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据，为业务部门提供数据支持。 技能要求： 1、会JS补环境； 2、会训练及协议过国内主流厂家的滑块，图标/文字点选验证码； 3、会使用docker容器； 4、计算机相关专业本科以上学历； 5、熟练的编程能力，熟悉数据结构；熟悉计算机网络的基础理论； 6、熟练的Python编程基础，熟练使用scrapy或feapder等爬虫框架；熟悉分布式爬虫；熟悉XPath等常用页面解析技术； 7、熟悉puppeteer等自动化工具的使用； 8、熟悉postgresql，mongodb等关系型或非关系型数据库； 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑；

*该岗位仅向24届本/硕学生开放，需进行线下面试 【主要职责】 1、使用Python、Java等开发语言，编写爬虫程序，对指定的多个网站进行网页抓取、数据提取； 2、负责网页信息抽取、数据清洗、入库、服务化等研发和优化工作； 3、参与开发和设计分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 4、负责线上问题维护及性能调优。 【职位要求】 1、专科或以上学历，计算机、数据科学等相关专业； 2、熟练掌握Python/Java等一到两种开发语言； 3、熟练掌握MySQL数据库设计和开发经验，掌握一定的NOSQL数据库开发经验，诸如MongoDB，Hbase等数据库； 4、具备良好的编程习惯和团队协作能力； 5、具有强烈的责任心和团队合作精神； 6、有APP逆向、拦截分析、JS解密等经验者加分。 福利待遇： 1、工作时间9:00-18:00，午休12:00-13:00，双休，享受法定节假日； 2、实习期间将有专业的导师进行指导，连续实习三个月及以上可提供实习证明； 3、可能转正为正式员工，享受公司福利待遇。

3年以上，掌握Frida、XPosed、APKTool、JADX等常用逆向工具；熟悉常见的Web和APP反爬手段和策略；熟练运用python及多进程、多线程开发； 熟练使用scrapy、requests、selenium、pyppeteer等爬虫包； 熟练使用Fiddler、Charles、Wireshark、Tcpdump、Jmeter等抓包工具中的一种； 熟悉html，正则、xpath等提取技术； 熟悉Mysql、Redis等数据库及相关操作； 熟悉Linux基础命令； 有丰富的前端JS及APP逆向工程经验；

工作内容： 1.开发并测试新爬虫， 2.维护现有爬虫 3.完成其他领导分配的工作 职位要求： 有python编程经验 有爬虫开发经验，及scrapy框架使用经验 了解面向对象编程 了解http协议及相关技术，css，html，js等 做事认真负责，能吃苦耐劳 计算机相关专业 英语4级以上 6个月以上实习时间 毕业可转正

工作职责： 1.配合公司业务，负责设计和开发分布式网络爬虫系统； 2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作； 3.关注数据质量，建立完整的数据获取、解析、入库和监控流程。 职位要求 1.大专及以上学历，3年及以上Python相关岗位工作经验； 2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验； 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具； 4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等； 6.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验。