【工作职责】 1.根据公司项目要求完成模块详细设计和编码实现； 2.保证项目系统的高性能和高可用以及代码质量和维护性； 3.落实承接项目相关技术文档的整理和维护。 【任职要求】 1.2年以上网络相关开发工作经验； 2.了解大语言模型的网络架构，熟悉glm、百川等开源性项目； 3.较强的编码能力，熟悉Python 开发语言、Linux 操作系统和 Docker 工具链； 4.具备较强独立分析、解决问题的能力，能够承受较大的工作压力，学习沟通能力强，具有团队合作精神和创新意识，乐于接受技术革新，保持技术更迭； 5.具备良好的客户服务意识及团队协作精神。

【工作职责】 1.根据公司项目要求完成模块详细设计和编码实现； 2.保证项目系统的高性能和高可用以及代码质量和维护性； 3.落实承接项目相关技术文档的整理和维护。 【任职要求】 1.2年以上网络相关开发工作经验； 2.了解大语言模型的网络架构，熟悉glm、百川等开源性项目； 3.较强的编码能力，熟悉Python 开发语言、Linux 操作系统和 Docker 工具链； 4.具备较强独立分析、解决问题的能力，能够承受较大的工作压力，学习沟通能力强，具有团队合作精神和创新意识，乐于接受技术革新，保持技术更迭； 5.具备良好的客户服务意识及团队协作精神。

负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。 岗位职责∣Responsibilities: 1、熟练掌握Python，熟悉Linux开发环境； 2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息； 3、解决技术疑难问题，包括各种反爬、压力控制等；提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制； 4、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库； 5、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理； 6、开发代码的维护更新，Linux服务器的维护，文档维护； 7、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持； 履职要求∣Requirements: 1、大学本科及以上学历，计算机相关专业，基本的英语阅读能力； 2、耐心、细心，有较强的逻辑思考能力和良好的工作习惯，态度认真负责； 3、有三年及以上的爬虫、数据处理、数据分析经验，有大数据爬虫经验尤佳；有音乐行业经验优先； 4、熟练掌握Python，HTML，JS/CSS等技术；熟悉scrapy，feapder等爬虫框架，有分布式爬虫经验；熟悉正则、xpath等提取方法； 5、熟悉常见的反爬虫技术如文本混淆、验证码、加密破解，api限制等；精通网页抓取原理及技术，熟悉MySQL、Redis、Postgrep等；熟悉Internet基本协议 (如TCP/IP、HTTP等) ； 6、熟悉Linux环境，使用脚本开发维护Linux服务器； 7、具有良好的表达能力，团队合作能力；具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

一、任职要求（并不表示部分条件未达到则一定不会聘用）： 1.熟练使用Python标准库和流行的第三方库，精通Python语言； 2.熟悉以下主流服务器端开源系统或者其中一部分：Redis/MongoDB/RabbitMQ/Memcache/Nginx； 3.熟悉JAVA或想转型Python者优先； 4.熟悉RESTful web service规范、熟悉面向对象的设计思想； 5.熟悉mysql的各种存储引擎，熟悉索引工作原理，有丰富的mysql性能优化经验； 6.重视Code Review，知道良好的编程习惯的标准，对代码和设计质量有严格要求； 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架，至少有其中一个的最佳实践或深入研究过其源码及机制； 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮； 2.收集用户信息；

网络信息安全，爬虫，攻防，全栈技术工程师

任职要求： 1. 本科及以上学历 2. 有Python爬虫相关经验，有web端JS逆向经验，熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等，了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列，如rabbitmq，kafka等 加分项： 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验，熟悉ast,frida,objection，能够独立逆向小程序，app等 3. 有爬虫平台相关开发经验，如xxljob等

app逆向，网站爬虫，app爬虫。看个人工作经验。

特别提醒：人不在深圳的不要随便投递简历。谢谢。 1、负责业务端数据稳定抓取、存储； 2、沟通产品需求，建立机器学习模型并不断优化 3、能够独立完成系统模块开发； 4 年及以上实际开发经验，精通python语言开发，同时掌握其他语言优先； 5、精通爬虫和反爬技术，精通http底层协议，linux基本命令；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术； 6、熟练使用mysql数据库、ES集群、redis、js逆向、正则提取； 7、熟悉机器学习，了解深度学习框架，有实际开发者优先； 8、有开发爬虫框架经验优先，熟悉反爬虫、验证码识别技术者优先； 9、逻辑清晰，专注技术有追求有热情，良好的团队合作精神及学习能力；

工作职责： 1、独立负责网络爬虫系统的设计与开发； 2、负责和业务沟通抓取需求，满足业务的发展需要； 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作； 任职要求： 1. 计算机或相关专业，本科及以上学历； 2. 熟悉软件工程，熟悉常用数据结构和算法； 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本； 5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议； 6. 英语水平达到CET6或以上； 7. 工作细心，认真负责，具备较强的学习能力； 8.了解Git版本管理工具。

岗位职责： 1、与业务团队沟通，明确爬虫项目的目标和需求，确定要抓取的数据范围、格式和用途，为产品业务提供数据支持。 2、编写高效、稳定的 Python 爬虫代码，挖掘并整合外部第三方数据，并对抓取到的数据进行的清洗和整理，增强数据分析的广度与深度； 3、优化爬虫程序的性能，提高抓取速度和效率； 4、建立和完善公司内部的知识图谱体系，提高数据的可访问性和价值。 任职资格： 1、**本科及以上，数学、统计学、计算机科学等相关专业优先，拥有5年以上金融或科技行业的相关工作经验。 2、精通python语言，具备扎实的编程功底，具有良好的程序设计能力； 3、精通爬虫原理，精通Scrapy、pyspider等主流爬虫框架框架；具有RPA项目经验； 4、精通常用的反扒技术，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。 5、熟悉常见ip限制、滑块、UA限制、验证码反爬、登录限制、headers认证和cookie限制等反爬套路及破解方法，且有实际经验； 6、熟练使用MySQL、MongoDB，熟悉Hadoop、ElasticSearch等技术； 7、熟练使用Pandas, NumPy等进行数据清洗、处理，提供数据服务以及数据管理； 8、能独立完成爬虫系统的搭建和运维。

职位描述 1、负责攻克高难度的反爬，诸如人机识别、JS逆向、Android逆向等 2、负责开发及维护超大规模站点，深入挖掘站点有价值的数据 3、参与爬虫通用组件、工具、系统的设计开发 职位要求 1、3年以上爬虫工作经验 2、具备丰富的Python爬虫经验，熟悉JS逆向、Android逆向，有攻克高难度站点经验 3、具备扎实的技术基础，如常见的网络协议、Linux操作系统、常用数据库等，可以独立分析解决新出现的技术问题 4、缜密的逻辑思维能力，热爱技术，喜欢钻研，注重代码质量 5、对前后端开发熟悉加分

【我们需要您】 We Need U 1、负责广告产品后台服务的设计、开发、优化等研发工作，保证产品的质量和开发进度； 2、负责其他相关技术的设计与实现。 3、研究新兴技术，对产品进行持续优化。 【我们希望您】We Want U 1.三年及以上后端/算法工程/系统工程相关开发经验； 2. 开发语⾔以Python为主，熟练掌握至少其中一门语言（Python/Golang/C/C++）； 3.有大型网站数据爬取经验优先，熟悉K8s/Docker技术优先； 4.熟悉Pytorch深度学习框架优先； 5.有大规模分布式服务器架构经验优先。 6.有跨境电商ERP平台广告经验。 7. 分析总结采集到的数据,对数据进行有效分类、汇总和提炼，制定相关数据分析报告； 【我们提供给您】We Offer U 薪资待遇：提供市场具有竞争力的薪资待遇 薪资结构：基本工资+绩效奖金+提成 基础保障： 1、工作时间：大小周 上午9:30-12:00 下午13:30-18:30（小周推迟及提前半小时上下班），法定节假日正常休息； 2、全勤奖，入职即享受买五险一金； 3、除法定节假日之外，还有福利假、年假、带薪病假等。 升级福利： 1、各类传统节日有精美礼品福利； 2、定期举办员工生日party/下午茶活动； 3、超19:30下班享生活补贴； 4、不定期团建活动、下午茶，劳逸结合； 5、年度调薪。

公司简介： 《消费者报道》杂志社创建于1998年，是中国内地率先采用商品和服务对比测评、研究商品评价体系的专业机构，多年来专注并坚持在市场消费现象、行业服务及消费维权方面进行深入的研究、分析和应用，持续向公众传播科学消费与责任消费的理念，目前已形成全媒体、研究中心、数据中心三位一体的调研架构，为政府部门、社会组织、企业和消费者提供全面、科学、权威的调研和资讯服务。这里很纯粹，就是做事的地方——我们热衷于解决问题。 正选数据中心是消费者报道旗下独立事业部。2018年起，团队吸收了来自广东省重点电子政务项目“粤省事”、“营商环境”的技术骨干，专注于研发面向各行业垂直领域的大数据、算法、应用软件产品，先后研发上线了产品质量监测与分析系统、企业信用风险模型管理系统、企业生产销售产品库等，在各领域已逐步实现常态化、主题化、智能化的数据应用场景。本次python爬虫工程师岗位为正选数据中心招聘岗位。 正选数据官网：https://www.ccrdata.cn/ 岗位职责： 1、负责分布式网络数据采集系统及数据库的设计与开发； 2、设计数据采集策略和防屏蔽规则，解决封账号、封IP、验证码等技术问题； 3、维护和优化已有数据采集服务； 4、负责数据采集服务核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量。 6、与团队其他人员高效沟通合作完成团队目标； 7、完成上级交办的其他工作任务。 任职要求： 1、大专及以上学历，2年及以上工作经验，计算机软件相关专业，具有扎实的操作系统、网络、数据库相关基础知识； 2、熟练掌握python多进程、多线程、协程、网络编程； 3、熟悉Linux操作系统，熟练使用常用命令；熟练掌握MySQL、MongDB、Redis开发经验者优先； 4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种； 5、了解常用验证码识别技术，熟悉行为验证码识别、模拟登陆，熟悉各种反爬机制和解决措施； 6、对经手的工作理解深入，有团队观念，具备独立解决问题的能力，善于学习提升。

近期日采达到其中一项就行 1. 近期淘宝商品采集5w+ 2.PDD商品近期采集5000+ 3.抖音商品近期采集1w+ 双休+五险一金+餐补 弹性上下班 【工作职责】： 1、负责分布式网络爬虫系统及数据库的设计与开发； 2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性； 3、维护和优化已有的爬虫服务； 4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量； 5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理； 6、分析、理解大数据业务需求,设计技术方案并落地实施; 7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案； 8、可以独立跟进需求项目开发进度。 【任职要求】： 1、计算机相关专业，3年以上Python爬虫工作经验； 2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能； 2、熟悉各类HOOK框架包括单不限于frida、xposed； 3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验； 4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法； 5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架； 6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。