-
职位职责: 日常实习:面向全体在校生,为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、了解机器人流程自动化或爬虫抓取采集相关工作经验; 2、了解主流机器人流程自动化及爬取技术及爬虫框架工具,如Selenium/Puppeteer/Scrapy/PhantomJS等; 3、熟悉Python语言,具备算法和数据结构能力; 4、熟练使用办公软件,精通Excel常用函数,具备基础数据分析处理能力; 5、优秀的分析、沟通、思考能力,良好的团队合作能力。 职位要求: 1、2025届及以后毕业,本科及以上学历在读,财务管理或计算机相关专业计算机相关专业优先; 2、学习能力强,工作积极主动,有责任心。
-
分析师助理实习生 【岗位职责】 1、行业研究:协助收集、整理和研究行业及相关投资领域的最新动态,为投资决策提供支持; 2、投资分析:协助进行投资标的的背景调查(DD)、数据分析及市场研究,评估投资可行性; 3、项目挖掘:协助识别和筛选一二级市场的优质投资机会,进行市场调研和可行性分析; 4、投研产出:具备一定的研究分析能力,能撰写行业研究报告、市场动态分析和投资机会评估报告; 5、数据支持:运用数据分析方法,协助为投资团队提供市场趋势研判和决策支持。 【岗位要求】 1、语言能力:英语能作为工作语言,具备良好的英语沟通和写作能力(CET-6 或雅思 6.0 及以上); 2、教育背景:理工科背景的应届毕业生优先,金融、计算机、数学、物理、区块链相关专业尤佳; 3、技术能力:熟练掌握至少 两种 主流编程语言(Python、Java、Rust、Solidity、Move等),具备一定的数据分析和处理能力; 4、分析能力:具备较强的信息挖掘能力及数据归纳分析能力,能够基于行业数据提供有价值的投资见解; 5、行业认知:对区块链行业有浓厚兴趣,能够快速学习并掌握行业新趋势; 6、适应能力:学习能力强,善于独立思考,并能在快节奏的工作环境中高效执行任务; 7、办公方式:线下办公,Base 上海。 【优先考虑条件】 1、有区块链行业相关经验(如研究、投资交易、数据分析等); 2、具备一定的金融分析能力,熟悉一级或二级市场投资逻辑; 3、有数据建模、数据挖掘或爬虫经验,能够进行市场数据分析及处理; 4、有较分析师助理实习生 【岗位职责】 1、行业研究:协助收集、整理和研究行业及相关投资领域的最新动态,为投资决策提供支持; 2、投资分析:协助进行投资标的的背景调查(DD)、数据分析及市场研究,评估投资可行性; 3、项目挖掘:协助识别和筛选一二级市场的优质投资机会,进行市场调研和可行性分析; 4、投研产出:具备一定的研究分析能力,能撰写行业研究报告、市场动态分析和投资机会评估报告; 5、数据支持:运用数据分析方法,协助为投资团队提供市场趋势研判和决策支持。 【岗位要求】 1、语言能力:英语能作为工作语言,具备良好的英语沟通和写作能力(CET-6 或雅思 6.0 及以上); 2、教育背景:理工科背景的应届毕业生优先,金融、计算机、数学、物理、区块链相关专业尤佳; 3、技术能力:熟练掌握至少 两种 主流编程语言(Python、Java、Rust、Solidity、Move等),具备一定的数据分析和处理能力; 4、分析能力:具备较强的信息挖掘能力及数据归纳分析能力,能够基于行业数据提供有价值的投资见解; 5、行业认知:对区块链行业有浓厚兴趣,能够快速学习并掌握行业新趋势; 6、适应能力:学习能力强,善于独立思考,并能在快节奏的工作环境中高效执行任务; 7、办公方式:线下办公,Base 上海。 【优先考虑条件】 1、有区块链行业相关经验(如研究、投资交易、数据分析等); 2、具备一定的金融分析能力,熟悉一级或二级市场投资逻辑; 3、有数据建模、数据挖掘或爬虫经验,能够进行市场数据分析及处理; 4、有较强的报告撰写能力,能够独立完成行业研究和投资分析报告。 【薪资待遇】 1、根据个人能力和经验评估,具体****; 2、提供良好的职业发展机会,接触区块链前沿投资领域。强的报告撰写能力,能够独立完成行业研究和投资分析报告。 【薪资待遇】 1、根据个人能力和经验评估,具体****; 2、提供良好的职业发展机会,接触区块链前沿投资领域。
-
岗位职责: 1.负责使用爬虫,NLP,大语言模型等进行微生物RNA,培养基环境数据采集、清洗、预先处理和分析工作。 2.参与预测算法的设计与实施,包括数据模型的设计、数据流程的优化等。 3.协助进行大数据相关的研究工作,包括新技术、新方法的探索和应用。 4.需要英文材料阅读能力 任职要求: 1.计算机科学、统计学、数学或相关专业研究生及以上。 2.对大数据有浓厚的兴趣,愿意从事大数据相关的工作。 3.熟悉至少一种编程语言,如Python、Java、Scala等。 4.了解大数据相关的技术和工具,如Hadoop、Spark、Hive等。 5.具备良好的逻辑思维能力,能够解决复杂的问题。 6.具备良好的沟通能力和团队合作精神,能够承受工作压力。 7.英语四六级或者雅思托福 8.有国际论文期刊发表经验者优先
-
岗位名称:爬虫实习工程师 (工作地点电子科技大学清水河校区,欢迎2026年毕业的同学投递) 【岗位职责】 1.了解网络爬虫相关知识。 2.熟悉Python语言(具备扎实的编程功底,具有良好的程序代码设计编写能力)。 3.了解主流爬虫/反爬虫技术,熟悉反爬封禁策略、数据抓包,并具备相关的实战经验; 4.熟悉mongodb, redis, mysql等至少一种数据库; 5.善于学习,自我驱动,良好的沟通能力。 6.热爱编程,队伍有大牛带。 【任职要求】 1. 计算机相关专业,具备良好的计算机专业知识; 2. 熟悉python 喜欢编程 沟通理解能力强。
-
岗位职责: 1.负责电商平台(包括网站和APP)的数据采集,制定高效、稳定的爬取方案,并确保数据完整性和时效性; 2.研究并绕过电商平台的反爬机制,包括验证码识别、IP封锁、JS混淆、动态加载等,提升爬虫的稳定性和成功率; 3.进行APP逆向分析,利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施; 4.设计、开发和优化爬虫架构,提高数据抓取效率,优化爬虫并发、任务调度、代理池、分布式爬取等模块; 5.使用AI爬虫技术(如自动化识别网页结构、智能解析动态内容等)优化数据获取流程; 6.研究HTTP、TCP等网络协议,进行数据抓包和分析,构建高效的抓取策略; 7.编写清晰的技术文档,记录逆向工程的过程、反爬破解策略及优化方案; 8.持续关注行业发展趋势,优化爬虫系统,并结合AI技术提升数据采集的自动化和智能化程度。 任职要求: 1.本科及以上学历,计算机科学、软件工程、网络安全等相关专业,3年以上爬虫开发经验; 2.熟练掌握Python爬虫开发,精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具; 3.熟悉HTTP、TCP等网络协议,具备抓包分析能力,掌握Burp Suite、Wireshark等工具; 4.深入理解反爬技术,具备丰富的应对经验,包括但不限于代理IP池、浏览器指纹模拟、验证码识别(OCR、打码平台)、动态加载解析等; 5.具备APP逆向工程经验,熟悉APK反编译、静态分析、动态调试(Frida、Xposed等),能绕过API加密、代码混淆等安全策略; 6.了解ARM指令集,有反汇编、调试能力,能处理花指令、代码混淆等复杂场景; 7.近一年内,有百万级以上电商数据采集经验,有主流电商平台或电商类APP爬取项目经验者优先; 8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力,能够编写高效、可维护的爬虫代码。 加分项: 有电商平台(如Amazon、shopee、Rakuten、Lazada等)爬虫经验者优先; 有大型分布式爬虫架构经验,熟悉Redis、Kafka、RabbitMQ等任务队列调度机制; 具备AI爬虫经验,熟悉自动化网页解析、深度学习OCR识别等技术; 了解MLOps、大数据存储、数据清洗技术,能与数据工程师协同优化数据处理流程。
-
我们需要你: 1.负责腾讯、阿里巴巴、vivo、oppo、B站等互联网企业的设计项目; 2.具体类型包含海报、长图、主视觉、H5、专题页、线上线下活动、互动小游戏等; 3.面对高品质的要求积极主动去突破自己的能力边界,与团队一起成长。 我们希望你: 1.优秀的设计功底,凭实力说话,能够针对客户需求提出自己的设计思路和创意,并将之执行完善; 2.技能傍身,走遍天下都不怕,精通各种设计技法和软件,应对各类不同设计风格举止端庄丝毫不慌,有3D能力是**的加分项; 3.具备良好的沟通能力,能够抓住需求核心,针对自己的方案进行陈述和表达,具备良好的团队合作精神; 4.身体强壮,骨骼惊奇,具备较强的抗压能力,对项目有责任心; 5.保持学习心态,对新事物有强烈的好奇和钻研精神,面对全新的设计风格趋势能够快速上手; 6.投递简历的同时请附上作品(pdf格式)或链接地址。 公司福利: 1.公司正经,五险一金也正经 2.护照得有,年度团建,紧张之余放松身心 3.尽可能保证你有充足的睡眠,弹性工作,不打卡 4.加班到深夜独自回家不安全,打车吧,公司报销 5.周末加班调休 6.每年一次升职加薪的机会确保收入与能力成正比 7.年底年终奖,回家开心过年 8.不定期组织下午茶、聚餐,奶茶团 9.宠物友好,可带宠物上班(爬虫猛兽非常人能撸的请谨慎)公司有招财猫一只,欢迎来撸 10.能认真看到这里的,应聘成功率增加25%
-
职位描述: 1、参与爬虫项目的架构设计、研发、编程工作,改进和提升爬虫效率; 2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量; 3、负责网页采集任务的分析及采集方案设计; 4、负责分布式爬虫策略持续优化。 任职要求: 1、熟悉Java、Python、Shell、R 等至少一门语言; 2、负责分析并采集网站数据,并按照要求对采集的数据进行整理; 3、具有较强的业务分析能力,较好的沟通表达和综合协调能力; 4、责任心强,有快速学习能力,对大数据方向感兴趣。 福利: 大数据行业 热门商圈 弹性工作 远程工作
-
任职要求: 1. 本科及以上学历 2. 有Python爬虫相关经验,有web端JS逆向经验,熟练使用Scrapy框架 3. 熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等 4. 熟悉MySQL、NoSQL等,了解Git版本管理工具 5. 熟悉分布式爬虫以及各种抓包工具 6. 熟悉消息队列,如rabbitmq,kafka等 加分项: 1. 有GUI工具pyqt开发经验 2. 有app逆向开发经验,熟悉ast,frida,objection,能够独立逆向小程序,app等 3. 有爬虫平台相关开发经验,如xxljob等
-
工作职责: 1、独立负责网络爬虫系统的设计与开发; 2、负责和业务沟通抓取需求,满足业务的发展需要; 3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作; 任职要求: 1. 计算机或相关专业,本科及以上学历; 2. 熟悉软件工程,熟悉常用数据结构和算法; 3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis 4. 熟悉Linux操作系统以及shell脚本; 5. 熟悉HTML,JavaScript,xpath,css selector,熟悉HTTP协议; 6. 英语水平达到CET6或以上; 7. 工作细心,认真负责,具备较强的学习能力; 8.了解Git版本管理工具。
-
岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。
-
工作内容: 1、通过编写新的爬虫脚本、通过修复已有爬虫脚本对网站数据进行爬取采集 2、对爬取的速度、质量负责。 3、对爬取回来的数据进行清洗(去重、缺失值、空值、乱码异常值等处理),并且进行数据存储 工作要求: 1、会使用爬虫、能独立编写爬虫脚本爬取数据 2、能够解决爬取数据过程中的反爬机制(JS逆向、验证码、封IP等) 3、能够处理千万级以上数据,保证处理存储的有效性(速度+质量) 4、能接受应届生、勤奋好学、吃苦耐劳
-
工作职责: 1.负责规划、设计和开发爬虫相关系统,进行多平台多终端信息的抓取和分析。 2.基于抓取系统的数据抓取、清洗等设计开发。 3.配合业务线,完成实时数据与离线数据的爬取与对接。 任职要求: 1.精通Python语言\MYSQL,熟练使用常用模块,使用过Flask web框架; 2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题 3.熟悉爬虫工作原理,深入了HTTP协议内容 4.至少了解一种主流爬虫框架的架构及原理,有具体工程经验,如 scrapy / pyspider等 5.了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath等 6.对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验
-
公司简介: 我们是一家从事数据采集、逆向工程、数据分析、数学建模、机器学习、深度学习、图像识别、自然语言、仿真优化、问卷分析、医学统计、金融建模、实证分析、软件程序、系统定制、文献复现等业务的科技服务商。为广大科研人员、职场人士、在校学生提供个性化定制服务。现因业务增加, 需要招聘项目制工程师若干,工程师远程办公,自由承接项目,薪资范围约为时薪200元,日薪600元,周薪4000元,月薪10000-20000元,具体与承接的项目有关。 招聘需求: 爬虫工程师 岗位职责:采集客户指定的网页/app/小程序/公众号等公开可见数据,编写客户指定的采集程序、源代码。 岗位要求:熟悉常见反爬封禁策略,并具备相关的实战经验,具有js逆向、app逆向、混淆、脱壳等应对能力。
-
(该岗位为外包岗位,优秀者入职后可转为正式员工) 职责描述: 1、负责网络爬虫,数据采集清洗等研发工作 2、负责对爬虫平台架构进行改造和优化 3、定期爬取指定数据,为业务部门提供数据支持。 技能要求: 1、会JS补环境; 2、会训练及协议过国内主流厂家的滑块,图标/文字点选验证码; 3、会使用docker容器; 4、计算机相关专业本科以上学历; 5、熟练的编程能力,熟悉数据结构;熟悉计算机网络的基础理论; 6、熟练的Python编程基础,熟练使用scrapy或feapder等爬虫框架;熟悉分布式爬虫;熟悉XPath等常用页面解析技术; 7、熟悉puppeteer等自动化工具的使用; 8、熟悉postgresql,mongodb等关系型或非关系型数据库; 9、熟悉kafka、redis等消息中间件/缓存的使用优先考虑;
-
*该岗位仅向24届本/硕学生开放,需进行线下面试 【主要职责】 1、使用Python、Java等开发语言,编写爬虫程序,对指定的多个网站进行网页抓取、数据提取; 2、负责网页信息抽取、数据清洗、入库、服务化等研发和优化工作; 3、参与开发和设计分布式网络爬虫系统,进行多平台信息的抓取和分析工作; 4、负责线上问题维护及性能调优。 【职位要求】 1、专科或以上学历,计算机、数据科学等相关专业; 2、熟练掌握Python/Java等一到两种开发语言; 3、熟练掌握MySQL数据库设计和开发经验,掌握一定的NOSQL数据库开发经验,诸如MongoDB,Hbase等数据库; 4、具备良好的编程习惯和团队协作能力; 5、具有强烈的责任心和团队合作精神; 6、有APP逆向、拦截分析、JS解密等经验者加分。 福利待遇: 1、工作时间9:00-18:00,午休12:00-13:00,双休,享受法定节假日; 2、实习期间将有专业的导师进行指导,连续实习三个月及以上可提供实习证明; 3、可能转正为正式员工,享受公司福利待遇。