职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产研团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、3年相关反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉 Web 安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

岗位职责： 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统，有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求： 1. 熟悉python,js编程，熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力，有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库（redis，mysql，hive，impala等） 3. 有国内电商相关数据采集经验，熟悉国内各电商平台业务逻辑。

岗位职责： - 根据项目需求，负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态，及时处理爬虫异常。 岗位要求： - 本科及以上学历，3年以上工作经验。 - 熟练掌握scrapy，selenium等相关框架，python及爬虫基础扎实。 - 熟悉各类常见的风控措施，熟悉js逆向，app逆向加分，熟悉web前端知识，能解决常见反爬问题。 - 有良好的沟通能力，及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。

岗位职责： 1. 负责爬虫业务线的开发迭代，完成多平台信息和页面内容、接口的抓取工作； 2. 负责信息数据的抽取、清洗、整理等工作； 3. 负责爬虫系统的优化，监控和报警，提高爬虫脚本的稳定性和抓取效率。 任职要求： 1. 本科及以上学历，2年以上独立Python爬虫开发经验； 2. 熟练使用bs、re、xpath、jsonpath等数据提取模块； 3. 熟悉 Scrapy、 selenium / pyppeteer 等常用爬虫框架，熟悉反爬策略与应对方案； 4. 熟悉Linux开发环境，熟悉 MySql / Mongodb / Redis的基本原理，有数据清洗经验的优先； 5. 有django、flask、tornado等web框架（之一即可）的使用经验，有web项目经验的优先； 6. 有良好的沟通能力、理解能力、细节把控能力、多任务并行处理能力； 7. 有责任心，能够积极主动的发现和解决问题，化解风险。 如果您成为我公司员工，您将获得： 薪资：中电博亚将为员工提供行业内有竞争力的薪酬，确保优秀员工获得更多的认可和激励； 奖金：优秀的您将共享公司的经营业绩，奖金额度与公司年度收益及个人绩效挂钩； 基本保障福利：公司按照国家规定为员工缴纳社会保险及公积金（五险一金）； 额外补充福利：餐补、车补等日常津贴，下午茶零食咖啡无限量供应； 休假：相对弹性工作制；每周双休；除国家规定的法定节假日外，将给予额外的带薪年假和带薪病假。 我们虽然独树一帜，却并不冰冷； 我们虽然行事严谨，却并不死板； 我们不害怕年轻，只害怕创意枯竭； 我们不害怕失败，只害怕止步不前； 我们喜欢朝气蓬勃的你，一起用对游戏的热爱一起创造辉煌； 我们喜欢无所畏惧的你，前人没有走过的路就让我们来开辟； 那个关于游戏的梦想，你还记得吗？ 我们期待你的加入！

工作职责： 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究，难点攻关； 3、实时监控爬虫任务的执行状况，及时处理异常情况 任职要求： 1、**本科及以上学历，1年以上爬虫开发经验； 2、熟练掌握python，掌握selenium、scrapy等相关框架，爬虫基础扎实； 3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先； 4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；

岗位职责： 1.参与数据安全相关系统/数据的开发和维护，保证系统的高可用性和稳定性； 2.参与AI相关数据处理和AI应用研发工作； 3.参与后台系统研效提升相关工作，协调并提升团队研发效率、质量。 岗位要求： 1.掌握Golang/python语言，具备开发能力，同时掌握c++者优先； 2.熟悉Linux操作系统、网络编程，具备调试能力、问题分析能力； 3.关注并了解AI算法和技术，对AI领域有探索热情； 4.具备强烈的进取心、求知欲及团队合作精神，有很强的责任心和较强的沟通协作能力；

非杭州伙伴可以线上办公！！！ 岗位职责： 1、负责设计、开发、维护爬虫系统； 2、参与多平台信息的抓取和分析； 3、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量； 5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。 任职资格： 1、熟悉GO或者RUST语言，熟练掌握js反混淆，有实操经验优先； 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、熟悉 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能； 5、有电商类网站爬虫经验优先，有高频爬虫工作经验者优先。

1、负责设计和开发分布式网络爬虫系统，进行数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动； 4、负责网络数据抓取规划、定期爬取指定网站的数据； 5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析； 6、实现数据提取、清洗、结构化、入库、统计分析等需求； 7、研究优化算法，提升爬虫系统的稳定性、可扩展性。 任职要求： 1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 2、熟悉Mysql，mongoDB， Redis，Es，队列等数据库的使用和优化； 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等； 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向，js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项

岗位职责： 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作，包括数据抓取和爬取链路优化，提升抓取能力； 2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设； 3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作； 任职要求： 1、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取； 2、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先； 3、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取优先； 4、有电商数据爬虫经验优先；

岗位职责 1、遵循robots协议，爬取互联网上允许搜索爬虫采集的公开信息； 2、研发爬虫系统，对自动爬取、数据提取的核心算法和性能效果调优； 3、负责爬虫可视化系统的后台监控、报警模块的开发； 4、优化爬虫算法，增加爬虫成功率，突破各种爬虫难点； 5、确保爬虫系统稳定性，降低系统成本； 岗位要求 1、本科及以上学历，计算机相关专业，3年以上爬虫开发经验； 2、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架； 3、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等； 4、熟练掌握 Python/Java/JavaScript 任意语言，Python 优先； 5、熟悉代理池、Cookie池搭建和使用以及账号登录认证。 加分项 实践过大型爬虫项目； 有知名项目贡献Commit经历； 有高质量的个人技术博客； 具备前端（App、Web）或后端开发能力；

岗位职责： 1、负责相关网站、App的爬虫设计和开发，定制实现批量采集，增量采集以及采集策略持续优化； 2、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗； 3、解决反爬疑难问题; 任职要求： 1、能够熟练使用Python或者Go等开发语言，了解网络爬虫开发原理，了解相关爬虫框架； 2、掌握HTML，JS，熟悉JS逆向；了解常见的反爬虫技术如文本混淆反爬虫、验证码等； 3、了解App逆向，反编译，抓包等。对于抖音、微信、小红书App、YouTube、Facebook至少有两种每天大数据量爬取的经验； 4、具备良好的沟通能力和团队协作能力。

工作职责： 1.配合公司业务，负责设计和开发分布式网络爬虫系统； 2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作； 3.关注数据质量，建立完整的数据获取、解析、入库和监控流程。 职位要求 1.大专及以上学历，3年及以上Python相关岗位工作经验； 2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验； 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具； 4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等； 6.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验。

岗位职责： 1、设计和搭建大规模分布式爬虫系统、大规模APP采集系统、以及其他相关服务系统； 2、协助数据产品经理全面掌握数据情况，确保数据及时、准确、全面更新； 3、分析开发效率瓶颈，应用devops手段，实现爬虫采集工具化、自动化、平台化，提高团队生产效率； 4、利用容器化技术，解决系统自动化部署及爬虫资源分配问题。 任职资格： 1、本科及以上学历，计算机或相关领域专业，熟练掌握操作系统（多线程、多进程）、计算机网络编程、数据结构与算法等基础知识； 2、4年以上的Linux环境下常用语言（C/C++/JAVA/Python）的开发经验，能够熟练使用常用的Linux命令； 3、3-5年以上的大规模网页爬虫开发经验，熟悉浏览器原理、前端JS、AJAX； 4、深入了解前端JS反爬的机制，并能够解决前端动态JS混淆问题； 深入了解非逆向、非侵入式手机APP采集方法； 5、熟悉并了解容器化编排技术（如swarm、k8s、mesos）； 6、熟练使用一门或多门脚本语言（如Python、JavaScript）； 7、熟练使用一种或多种数据库（如MongoDB、HBase、MySQL）； 8、具有前后端或大数据项目开发经验者优先考虑； 9、具备分布式系统设计开发落地经验者优先。

岗位职责： 1、负责多平台信息爬取和页面内容的提取分析，负责解决各类反爬机制； 2、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现； 3、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提取抓取能力； 4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量。 岗位要求： 1、3年及以上python爬虫经验，本科及以上学历，计算机相关专业； 2、熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）； 3、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具； 4、具有js逆向，app逆向实际解决经验。熟悉js hook原理，熟悉各种反爬风控常见手段； 5、具有团队合作精神，有责任感，对工作认真负责，有较强的协调和沟通能力。

岗位描述： 1、分布式网络爬虫系统的设计及开发 2、互联网站、网页、链接的特征挖掘，进行网页抓取、数据提取、清洗、入库 3、负责爬虫核心算法的策略优化研究，充分利用资源，避免限制 4、优化搜索、匹配、抓取等关键程序的性能及效率 任职要求： 1、3年以上爬虫独立开发经验，熟练应用多线程技术 2、熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息 3、熟练使用MongoDB，Mysql，Redis数据库 4、精通一种开源爬虫框架，如scrapy、scrapy-redis、requests、selenium、puppeteer等 5、熟练使用docker，会部署容器化爬虫 6、熟悉至少一种消息队列