-
岗位职责: 1.参与数据安全相关系统/数据的开发和维护,保证系统的高可用性和稳定性; 2.参与AI相关数据处理和AI应用研发工作; 3.参与后台系统研效提升相关工作,协调并提升团队研发效率、质量。 岗位要求: 1.掌握Golang/python语言,具备开发能力,同时掌握c++者优先; 2.熟悉Linux操作系统、网络编程,具备调试能力、问题分析能力; 3.关注并了解AI算法和技术,对AI领域有探索热情; 4.具备强烈的进取心、求知欲及团队合作精神,有很强的责任心和较强的沟通协作能力;
-
职位职责: 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责,解决业务痛点问题; 2、提升业务风险感知能力,结合具体场景,数据指标,主动发现问题并提出解决方案,对业务风控效果负责; 3、推动智能化产品落地,不断提升平台化能力,提高风控效率; 4、研究新的产品动向和前瞻探索,借鉴业界的新思路持续优化产品策略,使反爬处于行业领先水平。 职位要求: 1、本科及以上学历,责任心强,思维逻辑严谨,对数据敏感; 2、有互联网风控策略制定经验,从事过反爬虫、流量反作弊方向工作; 3、有互联网安全策略管理经验,包括但不限于风险发现、制定模型或策略、推动方案落地; 4、1年以上策略产品或数据分析工作经验;熟练掌握大数据分析工具使用,不限于SQL/PySpark/Flink等; 5、具备攻防思维,熟练掌握常见的反爬虫技术和数据安全风险。
-
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
工作职责: 1、负责数据爬取采集、数据ETL加工处理; 2、负责进行前沿技术研究,难点攻关; 3、实时监控爬虫任务的执行状况,及时处理异常情况 任职要求: 1、**本科及以上学历,1年以上爬虫开发经验; 2、熟练掌握python,掌握selenium、scrapy等相关框架,爬虫基础扎实; 3、熟悉掌握MongoDB,有过数据库调优和海量数据存储经验优先; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段;
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
你将参与: 1. 负责海量数据爬虫系统的总体架构、爬取策略设计和研发; 2. 负责反爬、风控对抗策略的研究与实现,提升抓取效率和质量; 3. 根据业务需求实现 Web/App 端的文本、图片、视频数据抓取、清洗、存储等工作。 我们希望你: 1. 两年以上爬虫开发经验,精通常用的爬虫技术及架构,并能快速实现; 2. 精通 Java/Python 中的一种或多种,熟悉常用的数据存储(ES、NoSQL、MySQL 等); 3. 熟悉主流爬取技术及工具,熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具; 4. 熟悉 HTTP/TCP 协议,熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具; 5. 有较丰富反爬实践经验,能解决图片验证码/滑块/账号限制/IP 限制等问题; 6. 良好的代码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低; 7. 强烈的自我驱动,学习能力强,靠谱。 以下是加分项: 1. 具有抖音、Tiktok、亚马逊等社媒、电商平台爬虫经验优先; 2. 具有风控对抗实践经验; 3. 具有 App 逆向经验,熟悉 Xposed 框架、常见 Hook技术,熟悉 Smali/Dedexer/Dexdump/Apktool/Dex2jar/IDA/OLLYDBG 等至少一种; 4. 了解大数据相关生态和工作流; 5. 代码洁癖、严谨、刨根问底; 6. 不喜欢卷,崇尚工具与效率、自由与责任。
-
1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制; 2、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量; 岗位要求: 1.3年以上python爬虫经验,专科及以上学历,计算机相关专业,有企业数据经验优先; 2.熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3.精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具。; 4.具有js逆向,app逆向相关经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5.具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力;
-
岗位职责: 有爬虫相关的背景,熟悉python,web开发,熟悉SQL,有相关的后台开发能力 了解基本的数据处理流程,数据交付流程(BI报表分析) 要求有大数据开发经验的优先,懂得分布式;
-
工作职责: 1、主导和参与爬虫系统的架构设计、开发与优化 2、根据业务诉求,攻克APP、Web、H5等应用并采集相关数据 3、实时监控爬虫任务的执行状况,及时处理爬虫异常,保障采集数据稳定性 任职要求: 1、2年以上爬虫开发经验; 2、熟练掌握python相关的爬虫库和爬虫框架,对redis,rabbimq,kafka等中间件有应用能力 3、熟悉掌握Mysql,Hive开发,具有数仓思维且有一定的开发经验,有丰富的sql的应用能力,必备项; 4、精通JS防护、混淆、逆向分析等技能,熟悉各种浏览器检测/反检测手段,具有丰富的相关能力; 5、近期具有电商平台抓取经验、在App逆向方面有深入研究者优先
-
职位名称:爬虫开发工程师 城市:上海 福利: 1.本地健康保险计划或保险津贴 2.灵活的travel安排 3.饮料、点心和水果 4.季节性饮料和生日庆祝活动 5.团队建设活动和郊游 6.上海户籍及上海工作居住证办理 7.外籍工作签证及外籍居住证办理 8.多功能有设计感的办公环境,地铁零距离 岗位职责 1、负责各类电商平台和app端数据抓取和平台搭建; 2、负责对爬取数据进行分类和解析; 3、负责开发高性能抓取架构,支持业务发展; 4、负责爬虫技术公关和平台运维相关工作; 任职要求 1、本科及以上学历,三年及以上相关工作经验; 2、熟悉linux平台,熟练掌握java/Python/shell/http协议,熟悉HTML、DOM、XPath,掌握git、maven、svn等工具和实践,注重工程规范; 3、熟悉app端数据抓取(有逆向、脱壳等经验),掌握Apktool、dex2jar、JD-GUI等工具,抓取过主流电商平台和主流app软件; 4、能维护Java语言写的爬虫代码 5、至少2年的分布式爬虫开发经验,熟悉浏览器内核,有cef、webkit开发经验优先; 6、有安卓/iOS相关开发经验者优先; 7、性格开朗、善于沟通,有良好的自我驱动学习能力,注重效率和团队意识,有团队管理经验优先。 我们的优势 1.与世界各地的国际团队合作 2.获得最新的网页技术和AR虚拟现实领域的前沿科技知识 3.学到更多的电子商务和移动相关的技术 4.获得用户界面和用户体验的工作经验 5.使用类似JIRA, Confluence, Hudson and Selenium项目管理系统进行工作 关于TMO集团 TMO Group是一家国际性的数字商务解决方案提供商,在阿姆斯特丹,上海, 成都和香港设有办事处, 电商 - 数据 - AI 我们为您的电商价值链提供集成解决方案,贯穿咨询、设计、开发和智能营销以及云计算赋能的托管服务。重点服务企业为B2C、D2C模式下的健康美妆行业,以及B2B数字化转型全行业。
-
岗位职责: 1、负责爬虫系统设计开发与优化,爬取海内外电商平台及海外主流社交平台博文帖子。 2、负责进行前沿技术研究,技术难点的攻克 ; 3、负责原始数据采集与数据仓库对接。 任职要求: 1、计算机相关专业本科及以上学历,2年以上爬虫工作经验者优先; 2、熟练掌握python,掌握selenium、scrapy等爬虫相关框架; 3、深入理解 TCP/IP、HTTP、以及各类 WEB 登录认证的机制; 4、能够解决封账号、封IP、验证码识别、图像识别等问题; 5、有海外社交平台或电商平台爬取经验者优先; 6、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题解决问题。
-
岗位职责: 1.负责复杂网站的数据抓取和交互模拟; 2.通过各种渠道或方式对目标网站数据进行高效率抓取; 3.设计爬取、调度和抽取算法、优化采集系统; 4.负责抓取数据的深度提取和挖掘,进行加工处理; 5.数据文档的撰写与更新。 任职要求: 1.专科及以上学历,计算机相关专业,2年以上开发经验; 2.掌握java或python开发语言,熟悉Linux系统; 3.较强的网站分析能力,熟知各种反爬措施及相关解决方式; 4.熟练使用MySQL、MongoDB等数据库; 5.熟知HTTP、TCP、Socker等底层知识; 6.熟知Fidder、Wireshark等抓包工具。
-
非杭州伙伴可以线上办公!!! 岗位职责: 1、负责设计、开发、维护爬虫系统; 2、参与多平台信息的抓取和分析; 3、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善; 4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量; 5、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求。 任职资格: 1、熟悉GO或者RUST语言,熟练掌握js反混淆,有实操经验优先; 2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先; 3、熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 4、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能; 5、有电商类网站爬虫经验优先,有高频爬虫工作经验者优先。
-
岗位职责: 1. 负责设计和实施复杂的分布式网络数据采集系统,包括财经及其他相关信息的深度抓取、分析和处理; 2. 研发先进的爬虫策略和防反爬策略,持续优化数据抓取效率和准确性,抵御各类屏蔽和反爬措施; 3. 领导爬虫项目的开发工作,制定和评审技术文档,确保代码质量和系统稳定性; 4. 督导和指导团队成员针对复杂场景进行问题分析和解决,快速定位并修复爬虫系统中的技术难题; 5. 与团队协作,参与新技术调研和前瞻性技术方案的设计,提供技术咨询和支持。 岗位要求: 1. 具备5年以上的爬虫开发经验,深入了解Python和至少一个主流的爬虫框架,如Scrapy、BeautifulSoup等; 2. 精通网络协议,有丰富的模拟请求、浏览器模拟、人机交互对抗、移动App逆向分析、JavaScript/AST解混淆等经验; 3. 有处理大规模数据采集和处理经验的候选人优先考虑; 4. 精通数据结构和算法设计,有解决高并发、数据一致性等复杂技术问题的实战经验; 5. 具有优秀的分析问题和解决问题的能力,能独立作业并具备良好的指导与团队协作精神; 6. 对爬虫技术发展保持持续关注,能快速学习并应用新技术解决实际问题; 7. 具备node.js开发经验以及参与过开源爬虫项目的候选人优先考虑; 8. 强烈的责任心以及扎实的编码规范意识,能够承担项目的核心开发和技术攻关工作。 公司福利: 1、周末双休,国家法定节假日休假,员工带薪年假; 2、试用期开始购买五险一金; 3、公司提供午餐补贴; 4、茶水间饮料零食;节日福利,生日福利; 5、个人评优奖; 6、公司年会活动,抽奖礼物等。
-
3年以上,掌握Frida、XPosed、APKTool、JADX等常用逆向工具;熟悉常见的Web和APP反爬手段和策略;熟练运用python及多进程、多线程开发; 熟练使用scrapy、requests、selenium、pyppeteer等爬虫包; 熟练使用Fiddler、Charles、Wireshark、Tcpdump、Jmeter等抓包工具中的一种; 熟悉html,正则、xpath等提取技术; 熟悉Mysql、Redis等数据库及相关操作; 熟悉Linux基础命令; 有丰富的前端JS及APP逆向工程经验;