-
平时可以阅读英文的计算机API文档,并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣,如果不符合以上条件,请勿投递,谢谢。 工作职责: 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘,并对逆向数据进行采集抓取; 2、爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、有过Akamai,Perimeterx经验的优先; 任职需求: 1、应届毕业生,熟练掌握Java语言; 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具,具备逆向分析能力; 3、熟悉各种通用加解密算法,有一定的脱壳反混淆,反调试经验; 4、熟悉常见的Xposed hook技术,注入技术,常见安全产品绕过等技术; 5、做事有责任感,具有良好的逻辑思维,很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式,根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假; 3、13薪及每年全员调薪,根据入职时间、工作表现和企业经营状况; 4、补充医疗保险及每年健康体检; 5、旅游补贴及公司团建; 6、每周供应2次免费午餐; 7、节假日礼品卡福利及节日下午茶供应。
-
岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
岗位职责: 1、负责抖音/淘宝/拼多多/1688等热门电商平台的爬取工作,包括数据抓取和爬取链路优化,提升抓取能力; 2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设; 3、负责大规模文本、图像数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作。 任职要求: 1、三年以上大规模爬虫/反爬经验,熟悉HTTP协议/浏览器原理/前端JS/APP抓取; 2、有解决复杂的反爬限制实践经验, 能解决如图片验证码/滑块/账号限制/ip限制等问题,熟悉反爬虫、签名破解、验证码识别技术者优先; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI、frida、ida等工具,能独立完成主流电商平台和主流app软件大量级的数据抓取优先; 4、有电商数据爬虫经验优先。
-
职位描述: • 负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型 • 研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量 • 把握网络爬虫核心技术研究方向,研究优化策略,提升爬虫系统的稳定性、可扩展性 • 管理并带领爬虫团队完成社交媒体数据(文本、视频、音频和图像)开发工作 职位要求: • 深度参与过至少一个分布式网络爬虫系统的架构设计; • 良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验 • 精通爬虫和反爬技术,精通底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术 • 熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验 • 对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验 • 有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作 • 良好的逻辑能力,善于把复杂问题梳理清晰,责任安排到人,完成情况监督到位
-
**岗位职责:** 1. 参与公司数据采集系统的设计与开发,负责网页/APP数据的爬取、清洗和存储。 2. 根据业务需求,编写高效、稳定的爬虫程序,解决反爬机制(如验证码、IP封禁等)。 3. 维护和优化现有爬虫系统,提升爬取效率及数据质量。 4. 协助团队完成数据分析和处理任务,支持业务部门的数据需求。 **必备技能:** 1. 至少掌握python或java其中一种语言开发。 2. 掌握HTTP/HTTPS协议、HTML/DOM结构、XPath/正则表达式等数据提取技术。 3. 了解JavaScript的使用 4. 了解安卓开发流程 5. 了解常见反爬策略(如User-Agent、代理IP、Cookie等)及应对方案。 6. 熟悉数据库(MySQL/MongoDB/Redis等)的基本操作。 7. 具备良好的逻辑思维能力和学习能力,能独立解决问题。 **加分项:** 1. 有过逆向复杂加密的经验 2. 了解市面上主流的风控对抗 3. 有数据清洗、ETL或数据分析经验。 4. 了解其他领域的开发,包括但不限于安卓开发,漏洞挖掘,区块链开发,黑白盒测试等。
-
岗位职责: 1、负责公司产品线的技术栈的选型和完善, 负责关键技术架构和核心模块的开发实现; 2、 参与公司项目的架构设计、研发、编程工作; 3、 设计公司业务执行策略和防屏蔽规则,提升数据抓取执行的效率和质量, 并对策略持续优化; 4、负责架构设计相关的技术攻关。 任职要求: 1、熟悉Python和常用的开源库,熟练使用Django/Flask等至少一种主流的web开发框架; 2、熟悉Mysql,mongoDB, Redis,Es,队列等数据库的使用和优化; 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的。 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly,webmagic等框架(深入了解其中一种)。 6、对相关算法有一定了解。 7、熟悉应用IP代理池、Headers认证和Cookie等; 8、有分布式爬虫、反爬机制经验者优先 9、熟悉js逆向,js破解优先考虑 10、有参与实时监控爬虫的进度和警报反馈系统的优先考虑。 11、有参与过相关资讯/新闻与大型分布式爬虫项目的优先考虑
-
一、任职要求(并不表示部分条件未达到则一定不会聘用): 1.熟练使用Python标准库和流行的第三方库,精通Python语言; 2.熟悉以下主流服务器端开源系统或者其中一部分:Redis/MongoDB/RabbitMQ/Memcache/Nginx; 3.熟悉JAVA或想转型Python者优先; 4.熟悉RESTful web service规范、熟悉面向对象的设计思想; 5.熟悉mysql的各种存储引擎,熟悉索引工作原理,有丰富的mysql性能优化经验; 6.重视Code Review,知道良好的编程习惯的标准,对代码和设计质量有严格要求; 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架,至少有其中一个的最佳实践或深入研究过其源码及机制; 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮; 2.收集用户信息;
-
一、任职要求(并不表示部分条件未达到则一定不会聘用): 1.熟练使用Python标准库和流行的第三方库,精通Python语言; 2.熟悉以下主流服务器端开源系统或者其中一部分:Redis/MongoDB/RabbitMQ/Memcache/Nginx; 3.熟悉JAVA或想转型Python者优先; 4.熟悉RESTful web service规范、熟悉面向对象的设计思想; 5.熟悉mysql的各种存储引擎,熟悉索引工作原理,有丰富的mysql性能优化经验; 6.重视Code Review,知道良好的编程习惯的标准,对代码和设计质量有严格要求; 7.熟悉Tornado/Flask/Gevent/Django等常用开发框架,至少有其中一个的最佳实践或深入研究过其源码及机制; 二、岗位职责 1.开发自动点击谷歌浏览器插件按钮; 2.收集用户信息;
-
职位要求: - 3年以上软件开发工作经验 - 工作认真负责,工作高效 - 工作热情高,积极主动,适应团队合作甚至跨团队沟通合作 - 自学能力强,有创新精神,能自己学习研究新技术,学习新技能 技术要求: 1. 计算机专业基础扎实,深入理解计算机网络,掌握http协议和熟练应用 2. 程序算法、数据结构基础扎实,编程功底扎实 3. 熟悉Linux 操作系统,能在Linux环境和命令行中熟练工作 4. 熟练掌握git 代码管理 5. 精通python编程,有熟悉的爬虫框架或工具,如Scrapy, Selenium, RPA 等 符合以下条件者优先: - 有搜索系统开发经验 - 熟悉java 开发 - 有分布式系统开发经验
-
岗位名称:爬虫实习工程师 (工作地点电子科技大学清水河校区,欢迎2026年毕业的同学投递) 【岗位职责】 1.了解网络爬虫相关知识。 2.熟悉Python语言(具备扎实的编程功底,具有良好的程序代码设计编写能力)。 3.了解主流爬虫/反爬虫技术,熟悉反爬封禁策略、数据抓包,并具备相关的实战经验; 4.熟悉mongodb, redis, mysql等至少一种数据库; 5.善于学习,自我驱动,良好的沟通能力。 6.热爱编程,队伍有大牛带。 【任职要求】 1. 计算机相关专业,具备良好的计算机专业知识; 2. 熟悉python 喜欢编程 沟通理解能力强。
-
岗位职责: 1.负责电商平台(包括网站和APP)的数据采集,制定高效、稳定的爬取方案,并确保数据完整性和时效性; 2.研究并绕过电商平台的反爬机制,包括验证码识别、IP封锁、JS混淆、动态加载等,提升爬虫的稳定性和成功率; 3.进行APP逆向分析,利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施; 4.设计、开发和优化爬虫架构,提高数据抓取效率,优化爬虫并发、任务调度、代理池、分布式爬取等模块; 5.使用AI爬虫技术(如自动化识别网页结构、智能解析动态内容等)优化数据获取流程; 6.研究HTTP、TCP等网络协议,进行数据抓包和分析,构建高效的抓取策略; 7.编写清晰的技术文档,记录逆向工程的过程、反爬破解策略及优化方案; 8.持续关注行业发展趋势,优化爬虫系统,并结合AI技术提升数据采集的自动化和智能化程度。 任职要求: 1.本科及以上学历,计算机科学、软件工程、网络安全等相关专业,3年以上爬虫开发经验; 2.熟练掌握Python爬虫开发,精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具; 3.熟悉HTTP、TCP等网络协议,具备抓包分析能力,掌握Burp Suite、Wireshark等工具; 4.深入理解反爬技术,具备丰富的应对经验,包括但不限于代理IP池、浏览器指纹模拟、验证码识别(OCR、打码平台)、动态加载解析等; 5.具备APP逆向工程经验,熟悉APK反编译、静态分析、动态调试(Frida、Xposed等),能绕过API加密、代码混淆等安全策略; 6.了解ARM指令集,有反汇编、调试能力,能处理花指令、代码混淆等复杂场景; 7.近一年内,有百万级以上电商数据采集经验,有主流电商平台或电商类APP爬取项目经验者优先; 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力,能够编写高效、可维护的爬虫代码。 加分项: 有电商平台(如Amazon、shopee、Rakuten、Lazada等)爬虫经验者优先; 有大型分布式爬虫架构经验,熟悉Redis、Kafka、RabbitMQ等任务队列调度机制; 具备AI爬虫经验,熟悉自动化网页解析、深度学习OCR识别等技术; 了解MLOps、大数据存储、数据清洗技术,能与数据工程师协同优化数据处理流程。
-
职位描述: 1、负责网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取)、技术选型; 2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、混淆加密,算法还原,so层,页面跳转等难点攻克,提升网页抓取的效率和质量; 3、对抓取后的数据进行清洗、存储等,并持续优化 平台,以便满足各种爬取业务需求。岗位要求: 1.精通Linux/UNIX,精通Python语言,至少熟练掌 握主流爬虫框架中的一种; 2.了解各种加密算法,在破解验证码方面有丰富经验,能够独立解决is反爬和模拟登陆问题; 3.熟练掌握正则表达式、XPath、CSS等网页信息抽 取技术; 4.熟悉常见反爬机制,验证码识别,IP代理池、应用 lp池、headers认证和cookie等; 5.熟练掌握应用Selenium、PhantomJS、Splash Puppeteer实施动态抓取; 6.熟悉熟练使用charles、fiddler等抓包工具者优先 7.熟悉数据清洗,能够用numpy、pandas、jieba等 8.熟悉mysal、mongodb、redis、rabbitMQ、kafk a、spark者优先; 9.对有金融数据抓取清洗经验优先; 工作时间: 8小时工作制,周一至周五(双休、国家法定节假日 )。 薪资待遇: 试用期3个月,正式入职工资6000~11000。 条件优异者,****
-
职位名称:爬虫工程师 职位描述:正职岗位,需要已经毕业滴 工作安排:大小周 薪资结构:无责底薪*14薪 (无月绩效奖金考核,纯无责化) 工作职责: 1.对部门项目所需的网络数据源进行运用爬虫技术数据抓取: 2.针对互联网上收集的信息进行采集处理,负责信息提取、处理、优化、过滤、审核等工作; 了.按要求做数据抓取前的配置等准备工作:检查网站抓取后是否有遗漏等工作;确保所负责的站点按周期采集及时、全面; 4.完成团队安排的其他工作。 岗位要求: 1.本科及以上学历,计算机/软件工程/数学/通讯/信息工程等相关专业: 2.熟练掌握Python基础知识,熟悉scrapy爬虫框架,有年Pvthon项目或爬电经验者: 3.有一定JS,CSS基础,熟悉XML,HTML语言和 JavaScript等; 4.一定的SQL基础,熟悉主流Mysql,SQL Server等数据库。
-
岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘,掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实,对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验,有丰富的Web及APP逆向工程经验。
-
网络信息安全,爬虫,攻防,全栈技术工程师