工作职责： 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究，难点攻关； 3、实时监控爬虫任务的执行状况，及时处理异常情况 任职要求： 1、**本科及以上学历，1年以上爬虫开发经验； 2、熟练掌握python，掌握selenium、scrapy等相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；

岗位职责： 1. 负责爬虫业务线的开发迭代，完成多平台信息和页面内容、接口的抓取工作； 2. 负责信息数据的抽取、清洗、整理等工作； 3. 负责爬虫系统的优化，监控和报警，提高爬虫脚本的稳定性和抓取效率。 任职要求： 1. 本科及以上学历，2年以上独立Python爬虫开发经验； 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块； 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架，熟悉反爬策略与应对方案； 4. 熟悉Linux开发环境，熟悉 MySql / Mongodb / Redis的基本原理，有数据清洗经验的优先； 5. 有django、flask、tornado等web框架（之一即可）的使用经验，有web项目经验的优先； 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力； 7. 有责任心，能够积极主动的发现和解决问题，化解风险。 如果您成为我公司员工，您将获得： 薪资：中电博亚将为员工提供行业内有竞争力的薪酬，确保优秀员工获得更多的认可和激励； 奖金：优秀的您将共享公司的经营业绩，奖金额度与公司年度收益及个人绩效挂钩； 基本保障福利：公司按照国家规定为员工缴纳社会保险及公积金（五险一金）； 额外补充福利：餐补、车补等日常津贴，下午茶零食咖啡无限量供应； 休假：相对弹性工作制；每周双休；除国家规定的法定节假日外，将给予额外的带薪年假和带薪病假。 我们虽然独树一帜，却并不冰冷； 我们虽然行事严谨，却并不死板； 我们不害怕年轻，只害怕创意枯竭； 我们不害怕失败，只害怕止步不前； 我们喜欢朝气蓬勃的你，一起用对游戏的热爱一起创造辉煌； 我们喜欢无所畏惧的你，前人没有走过的路就让我们来开辟； 那个关于游戏的梦想，你还记得吗？ 我们期待你的加入！

岗位职责： 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统，有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求： 1. 熟悉python,js编程，熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力，有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库（redis，mysql，hive，impala等） 3. 有国内电商相关数据采集经验，熟悉国内各电商平台业务逻辑。

岗位职责： - 根据项目需求，负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态，及时处理爬虫异常。 岗位要求： - 本科及以上学历，3年以上工作经验。 - 熟练掌握scrapy，selenium等相关框架，python及爬虫基础扎实。 - 熟悉各类常见的风控措施，熟悉js逆向，app逆向加分，熟悉web前端知识，能解决常见反爬问题。 - 有良好的沟通能力，及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。

1、负责爬取HTML页面所需数据，并对数据进行清洗、解析、归档、输出等； 2、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等； 3、负责实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。  4、负责js渲染抓取，反爬虫策略研究，验证码识别等采集支撑服务建设；  5、参与公司业务平台的数据的挖掘和分析，协助进行产品改进。 任职资格 1. 本科以上，计算机或相关专业毕业，扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架； 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术； 3、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验； 4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；  5、熟悉代理IP池、Headers认证和Cookie等；

岗位职责： 1.参与数据安全相关系统/数据的开发和维护，保证系统的高可用性和稳定性； 2.参与AI相关数据处理和AI应用研发工作； 3.参与后台系统研效提升相关工作，协调并提升团队研发效率、质量。 岗位要求： 1.掌握Golang/python语言，具备开发能力，同时掌握c++者优先； 2.熟悉Linux操作系统、网络编程，具备调试能力、问题分析能力； 3.关注并了解AI算法和技术，对AI领域有探索热情； 4.具备强烈的进取心、求知欲及团队合作精神，有很强的责任心和较强的沟通协作能力；

工作职责： 1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线，完成实时数据与离线数据的爬取与对接。 任职要求： 1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架； 2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理，深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等 5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等 6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验

岗位职责 1、负责爬虫技术研究以及爬虫策略优化； 2、设计和开发高效、可靠的网络爬虫，用于抓取目标网站的数据。 3、实现数据解析、清洗和结构化，确保数据的准确性和可用性。 4、处理和优化爬虫策略，包括但不限于动态内容抓取、用户代理轮换、IP代理管理等。 5、与业务团队合作，理解业务需求并提供定制的数据解决方案。 任职要求 1、熟悉Python编程语言； 2、熟悉JS逆向； 3、熟系网络协议和Web应用的工作原理； 4、具备基本的数据库知识，能够处理和存储大量数据； 5、良好的编程习惯，包括代码版本控制； 6、账号池设计，验证码处理，自动化处理方案； 7、对数据驱动业务有深入理解，对数据与业务方面有足够的敏感性，独立思考能力和逻辑分析能力；

岗位职责： 1. 负责设计、开发和维护高效、稳定的爬虫系统，从各种在线数据源中抓取和解析数据，以实现自动化数据采集和更新。 2. 熟练使用Python或其他相关语言进行爬虫开发，拥有扎实的编码和调试能力，并能够编写高质量的可维护代码。 3. 精通各种爬虫框架和工具，如Scrapy、BeautifulSoup、Selenium等，能够根据需求灵活选择和使用，同时熟悉反爬虫机制的解决方案。 4. 具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等。 5. 深入理解网络协议和网页结构，能够处理复杂的页面结构和动态内容，熟悉前端技术和相关工具。 6. 熟悉数据库（如MySQL、MongoDB）的使用，能够设计和优化数据存储和查询方案，具备数据清洗和处理的能力。 7. 能够分析和解决爬虫中的技术难题，如验证码处理、IP代理池、请求优化、反反爬虫等，并具备相应的工程实践经验。 任职要求： 1.本科及以上学历，计算机科学等相关专业背景优先考虑. 2. 具备卓越的沟通和团队合作能力，能够与产品、运维等团队紧密合作，理解并满足业务需求，完成项目目标。 3. 对新技术和行业动态保持敏感，具备持续学习和创新的精神，能够应用新的爬虫技术和工具，推动技术的发展。 4.具备责任心和良好的团队协作精神，乐于沟通交流和分享，充满激情，乐于接受挑战。

工作职责 1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等）； 2、根据公司各个业务需求，爬取全网来源的数据，解决各类反爬问题； 3、参与爬虫平台架构演进、稳定性治理及性能调优。 4、及时响应各目标迭代策略，保障数据精准。 职位要求 1、熟悉爬虫工作原理，深入了解至少一种主流爬虫框架的架构及原理，如 Scrapy；
 2、**本科及以上学历，三年以上爬虫工作经验，有大规模数据爬取经验； 
3、技术扎实，熟练掌握主流爬取技术，如协议破解、模拟点击等；熟悉掌握常用框架，如Selenium/Puppeteer/Splash等； 4、具备实际爬虫编写能力，至少熟练掌握Python/Go/Java等其中一种语言；
 5、具备良好的前端分析能力，对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验； 6、具备良好的文档编写及协作能力。自我驱动，执行力强，有攻坚精神；对学习有热情，追求技术进步。 岗位亮点 1、公司核心业务的开发，工作饱和度高，成就感强； 2、集团公司重点项目研发，受到高层领导的高度关注和认可。

岗位职责： 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进 职位要求： 1.熟悉JAVA/Python/go任意语言，有java开发经验更佳 2.熟悉常见反爬封禁策略，并具备相关的经验优先考虑 3.具备良好的沟通表达能力，有一定的产品意识 4.自我驱动，执行力强，有攻坚精神，能挑战自我不断追求卓越岗位职责： 1.负责分布式爬虫系统的建设、开发工作(如多样化抓取、任务调度、数据清洗、指标监控及报警等) 2.帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能 3.持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进 职位要求： 1.熟悉JAVA/Python/go任意语言，有java开发经验更佳 2.熟悉常见反爬封禁策略，并具备相关的经验优先考虑 3.具备良好的沟通表达能力，有一定的产品意识 4.自我驱动，执行力强，有攻坚精神，能挑战自我不断追求卓越

岗位职责： 1、对多平台数据源（WEB/APP/H5/小程序等）进行数据采集、分析、清洗入库； 2、维护、优化现有的采集程序，提升爬虫的抓取效率和质量; 3、设计数据采集策略，提升数据采集效率及质量； 4、对采集过程中遇到的技术难点进行攻破。 5、负责数据采集爬虫项目的开发与维护，优化爬取性能及采集策略； 6、研究和破解网站及app反爬策略，保证爬取的稳定性； 任职要求： 1、需要具有3年以上爬虫经验; 2. 熟练掌握 Python 编程语言，熟悉多线程编程； 3、熟悉掌握python、javascript开发语言，具备良好的编码能力、扎实的数据结构知识； 4、善于独立分析并解决核心问题，如JavaScript反爬、爬虫策略、防屏蔽规则、App爬取、验证码识别技术等； 5、熟悉mysql, redis，es等数据库； 6、熟悉 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：熟悉js逆向技术，掌握各种js混淆解密技术，有一定的app逆向基础；验证码破解等； 7、熟悉 http/https 协议，掌握动态网站原理。能抓包进行数据接口分析； 8、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力； 9、有爬虫框架研发经验者优先，有大规模电商平台数据采集经验者优先。

岗位职责： 1、负责设计和开发分布式网络采集系统，各个渠道的财经信息，包括web端和app端的数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量； 3、负责爬虫逻辑的开发，快速响应业务变动。 岗位要求： 1、具有3年以上爬虫开发经验，熟悉常用的爬虫框架； 2、对模拟请求、浏览器模拟、人机对抗、App逆向、ast解混淆等采集方案有深入研究； 3、对大数据体系有了解，有采集量较大的爬虫项目经验优先； 4、对数据结构和算法设计有较为深刻的理解，具有良好的沟通能力和团队合作意识; 5、拥抱新技术，有很强的学习能力； 加分项： 1、有风控对抗经验者优先 2、还原过vmp算法的优先 公司福利： 1、周末双休，国家法定节假日休假，员工带薪年假； 2、试用期开始购买五险一金； 3、公司提供午餐补贴； 4、茶水间饮料零食；节日福利，生日福利； 5、个人评优奖； 6、公司年会活动，抽奖礼物等。

岗位职责： 1. 需要保证每天获取的总数居量的获取 2. 负责js逆向，能够在网站更新时，及时更新（极验，rs等）

公司简介： 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干，工程师远程办公，自由承接项目，薪资范围约为时薪200元，日薪600元，周薪4000元，月薪10000-20000元，具体与承接的项目有关。 招聘需求： 爬虫工程师 岗位职责：采集客户指定的网页/app/小程序/公众号等公开可见数据，编写客户指定的采集程序、源代码。 岗位要求：熟悉常见反爬封禁策略，并具备相关的实战经验，具有js逆向、app逆向、混淆、脱壳等应对能力。