-
职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有互联网风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于SQL/PySpark/Flink等; 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险。
-
平时可以阅读英文的计算机API文档,并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣,如果不符合以上条件,请勿投递,谢谢。 工作职责: 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘,并对逆向数据进行采集抓取; 2、爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、有过Akamai,Perimeterx经验的优先; 任职需求: 1、应届毕业生,熟练掌握Java语言; 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具,具备逆向分析能力; 3、熟悉各种通用加解密算法,有一定的脱壳反混淆,反调试经验; 4、熟悉常见的Xposed hook技术,注入技术,常见安全产品绕过等技术; 5、做事有责任感,具有良好的逻辑思维,很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式,根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假; 3、13薪及每年全员调薪,根据入职时间、工作表现和企业经营状况; 4、补充医疗保险及每年健康体检; 5、旅游补贴及公司团建; 6、每周供应2次免费午餐; 7、节假日礼品卡福利及节日下午茶供应。
-
职位名称:爬虫工程师 职位描述:正职岗位,需要已经毕业滴 工作安排:大小周 薪资结构:无责底薪*14薪 (无月绩效奖金考核,纯无责化) 工作职责: 1.对部门项目所需的网络数据源进行运用爬虫技术数据抓取: 2.针对互联网上收集的信息进行采集处理,负责信息提取、处理、优化、过滤、审核等工作; 了.按要求做数据抓取前的配置等准备工作:检查网站抓取后是否有遗漏等工作;确保所负责的站点按周期采集及时、全面; 4.完成团队安排的其他工作。 岗位要求: 1.本科及以上学历,计算机/软件工程/数学/通讯/信息工程等相关专业: 2.熟练掌握Python基础知识,熟悉scrapy爬虫框架,有年Pvthon项目或爬电经验者: 3.有一定JS,CSS基础,熟悉XML,HTML语言和 JavaScript等; 4.一定的SQL基础,熟悉主流Mysql,SQL Server等数据库。
-
岗位职责: 1.负责电商平台(包括网站和APP)的数据采集,制定高效、稳定的爬取方案,并确保数据完整性和时效性; 2.研究并绕过电商平台的反爬机制,包括验证码识别、IP封锁、JS混淆、动态加载等,提升爬虫的稳定性和成功率; 3.进行APP逆向分析,利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施; 4.设计、开发和优化爬虫架构,提高数据抓取效率,优化爬虫并发、任务调度、代理池、分布式爬取等模块; 5.使用AI爬虫技术(如自动化识别网页结构、智能解析动态内容等)优化数据获取流程; 6.研究HTTP、TCP等网络协议,进行数据抓包和分析,构建高效的抓取策略; 7.编写清晰的技术文档,记录逆向工程的过程、反爬破解策略及优化方案; 8.持续关注行业发展趋势,优化爬虫系统,并结合AI技术提升数据采集的自动化和智能化程度。 任职要求: 1.本科及以上学历,计算机科学、软件工程、网络安全等相关专业,3年以上爬虫开发经验; 2.熟练掌握Python爬虫开发,精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具; 3.熟悉HTTP、TCP等网络协议,具备抓包分析能力,掌握Burp Suite、Wireshark等工具; 4.深入理解反爬技术,具备丰富的应对经验,包括但不限于代理IP池、浏览器指纹模拟、验证码识别(OCR、打码平台)、动态加载解析等; 5.具备APP逆向工程经验,熟悉APK反编译、静态分析、动态调试(Frida、Xposed等),能绕过API加密、代码混淆等安全策略; 6.了解ARM指令集,有反汇编、调试能力,能处理花指令、代码混淆等复杂场景; 7.近一年内,有百万级以上电商数据采集经验,有主流电商平台或电商类APP爬取项目经验者优先; 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力,能够编写高效、可维护的爬虫代码。 加分项: 有电商平台(如Amazon、shopee、Rakuten、Lazada等)爬虫经验者优先; 有大型分布式爬虫架构经验,熟悉Redis、Kafka、RabbitMQ等任务队列调度机制; 具备AI爬虫经验,熟悉自动化网页解析、深度学习OCR识别等技术; 了解MLOps、大数据存储、数据清洗技术,能与数据工程师协同优化数据处理流程。
-
网络信息安全,爬虫,攻防,全栈技术工程师
-
岗位职责: 1、与业务团队沟通,明确爬虫项目的目标和需求,确定要抓取的数据范围、格式和用途,为产品业务提供数据支持。 2、编写高效、稳定的 Python 爬虫代码,挖掘并整合外部第三方数据,并对抓取到的数据进行的清洗和整理,增强数据分析的广度与深度; 3、优化爬虫程序的性能,提高抓取速度和效率; 4、建立和完善公司内部的知识图谱体系,提高数据的可访问性和价值。 任职资格: 1、**本科及以上,数学、统计学、计算机科学等相关专业优先,拥有5年以上金融或科技行业的相关工作经验。 2、精通python语言,具备扎实的编程功底,具有良好的程序设计能力; 3、精通爬虫原理,精通Scrapy、pyspider等主流爬虫框架框架;具有RPA项目经验; 4、精通常用的反扒技术,对互联网各种类型数据交互模式熟悉,知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。 5、熟悉常见ip限制、滑块、UA限制、验证码反爬、登录限制、headers认证和cookie限制等反爬套路及破解方法,且有实际经验; 6、熟练使用MySQL、MongoDB,熟悉Hadoop、ElasticSearch等技术; 7、熟练使用Pandas, NumPy等进行数据清洗、处理,提供数据服务以及数据管理; 8、能独立完成爬虫系统的搭建和运维。
-
岗位职责: 1、负责爬虫系统架构和业务开发; 2、建立完整的数据采集、解析、入库和监控流程,并不断优化迭代完善; 3、解决常见的反爬虫问题,并建立相关的系统化策略; 4、深入理解系统数据处理流程以及业务功能需求; 5、保证数据的完整性和准确性; 6、对高难度的技术问题的探索和解决有着极强的自我驱动力。 任职要求: 1、熟悉区块链数据挖掘,掌握Frida、Xposed、APKTOOI、JADX、IDA等常用逆向工具; 2、熟悉常见的Web和APP反爬手段和策略; 3、熟练掌握Python、Javascript或Go网络编程; 4、熟悉至少一种关系型数据库(如mysql等) 5、计算机基础扎实,对数据结构、操作系统计算机网络等技术技术有一定程度的掌握; 6、五年以上的爬虫开发经验,有丰富的Web及APP逆向工程经验。
-
岗位职责: 1.负责网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取),技术选型; 2.研究爬虫策略和防屏蔽规则,解决封账号,封IP,验证码,混淆加密,页面跳转等难点攻克,提升网页抓取效率和质量。 任职要求: 1.熟练掌握Python语言,有良好的编码习惯。 2.熟悉HTML,JavaScript,xpath,css selector,熟悉HTTP协议;熟悉WebDriver,phantomjs等工具; 3.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;有解决封账号、封IP、网页抓取、信息抽取等问题的经验 4.熟悉mysql,redis,mongodb,ES等数据库,以及对应数据的抽取入库等; 5.熟悉正则表达式、Xpath等数据提取技术。 6.了解常见的爬虫对抗技巧 7.了解抓包工具、如Fiddler、Charles、Mitmproxy 8.熟悉python web后端框架Django、flask、fastapi其中的一种优先 9.熟悉Linux常用命令、docker容器技术和git技术者优先; 有API对接经验优先 10.能对目前主流网站、APP数据进行抓取,有外贸跨境商城,抖音,小红书爬虫经验者优先。 11.有RPA、手机端自动化、浏览器自动化、PC自动化开发经验的优先 薪资待遇: 8K-13K;****。 上班时间: 上午 : 9:30-12:00;下午 13:30-19:00;
-
工作职责: 1、打造国内/外全域的短视频数据抓取和实时监控能力; 2、设计和优化分布式爬虫集群系统,高效的内容发现、解析和存储方案; 3、模拟真实用户行为,采用手机群控等创新技术突破爬取难题; 4、与其他团队紧密协作,集成爬虫输出,支持不同业务诉求。 任职要求: 1、大规模分布式系统和网络爬虫开发经验; 2、精通Python、Go等编程语言,熟悉爬虫相关框架和工具; 3、深入了解平台反爬虫策略及对应的防护和绕行方法; 4、熟悉手机群控、Root手机等移动端爬虫前沿技术; 5、优秀的系统架构设计和性能优化能力; 6、数据质量管理意识,重视隐私、版权保护。
-
职位描述: 1、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率; 2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、负责网页采集任务的分析及采集方案设计; 4、负责分布式爬虫策略持续优化。 任职要求: 1、熟悉Java、Python、Shell、R 等至少一门语言; 2、负责分析并采集网站数据,并按照要求对采集的数据进行整理; 3、具有较强的业务分析能力,较好的沟通表达和综合协调能力; 4、责任心强,有快速学习能力,对大数据方向感兴趣。 福利: 大数据行业 热门商圈 弹性工作 远程工作
-
岗位职责: 1、维护优化爬虫系统 2、满足公司数据的爬取需求; 3、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率 岗位要求: 1、2年以上工作经验; 2、深入理解python的常用的爬虫框架; 3、熟悉正则表达式、xpath、css、html等网页相关基础知识,具有一定的web逆向能力; 4、熟悉MySQL、Redis数据库; 5、熟悉Flask接口编写 6、有参与研发爬虫中台经验优先。
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
负责为海外音乐项目搜索采集数据,为团队的海外运营提供决策支持(自有项目,非乙方)。 岗位职责∣Responsibilities: 1、熟练掌握Python,熟悉Linux开发环境; 2、负责设计和开发爬虫,精通海外网页(Youtube、Spotify、Google...)抓取原理及技术,从各种web页面、APP中获取目标信息; 3、解决技术疑难问题,包括各种反爬、压力控制等;提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题,有能力解决复杂的反爬限制; 4、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优,第三方数据源的对接、预处理、入库; 5、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗;不限于使用代码规则类进行数据清理; 6、开发代码的维护更新,Linux服务器的维护,文档维护; 7、支持部门数据需求,包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持; 履职要求∣Requirements: 1、大学本科及以上学历,计算机相关专业,基本的英语阅读能力; 2、耐心、细心,有较强的逻辑思考能力和良好的工作习惯,态度认真负责; 3、有三年及以上的爬虫、数据处理、数据分析经验,有大数据爬虫经验尤佳;有音乐行业经验优先; 4、熟练掌握Python,HTML,JS/CSS等技术;熟悉scrapy,feapder等爬虫框架,有分布式爬虫经验;熟悉正则、xpath等提取方法; 5、熟悉常见的反爬虫技术如文本混淆、验证码、加密破解,api限制等;精通网页抓取原理及技术,熟悉MySQL、Redis、Postgrep等;熟悉Internet基本协议 (如TCP/IP、HTTP等) ; 6、熟悉Linux环境,使用脚本开发维护Linux服务器; 7、具有良好的表达能力,团队合作能力;具有很强的责任心,乐于挑战,有较强的深入学习理解业务的意愿;
-
职位描述 岗位职责: 1、负责分布式数据采集系统的设计、APP等平台信息的抓取与分析工作 2、根据业务需求进行数据抽取、清晰和加工等 3、参与爬虫算法和策略优化,实时监控爬虫进度和警报反馈 任职要求: 1、**大专以上学历 2、计算机及相关专业,3年以上网络爬虫工作经验 3、熟练掌握python、SQL语言,熟悉Scrapy等爬虫技术 4、熟悉数据抽取、清洗、加工,常见爬虫开源框架及反爬策略,具有分布式计算开发经验 5、熟悉主流APP的移动安全保护机制及对抗方法 6、熟悉Android APP逆向分析 java/native方向均可,或iOS APP的逆向分析
-
岗位如下: 职位名称:高级爬虫工程师 公司:江涞互联 职位描述: 我们正在寻找一位经验丰富的高级爬虫工程师,负责开发和维护公司的爬虫程序,以及处理爬取到的数据。 工作职责: - 设计和开发爬虫程序,包括爬取网站数据、提取数据和清理数据等。 - 熟悉常用的爬虫框架,如Python中的Scrapy和BeautifulSoup等。 - 了解数据清洗和转换的技能,如pandas和NumPy等。 - 熟悉常用的数据库,如MySQL和Oracle等。 - 具有出色的代码能力,熟悉Git版本控制工具。 - 具备良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 职位要求: - 3年以上爬虫开发经验,有独立的爬虫项目开发经验。 - 熟悉常用的爬虫框架和数据清洗技能。 - 熟悉数据库和SQL语言,能够清洗和转换数据。 - 熟悉常用的开发工具和技术,如Python、JavaScript、HTML/CSS等。 - 具备良好的代码风格和规范,熟悉团队协作流程。 - 有良好的沟通能力和团队合作精神,能够与其他团队成员合作完成任务。 请注意,这只是一个示例职位描述,可能并不适用于所有公司。如果有任何疑问,请随时与我们联系。