岗位职责： 负责设计和维护数据仓库架构，支持业务线包括但不限于Things to do、Mobility和酒店业务。 深入了解各业务线，通过数据分析支持业务决策和策略制定。 构建和优化数据模型，确保数据准确性和可靠性。 独立处理和优化复杂的数据集，改进数据质量和处理流程。 与业务团队和技术团队紧密合作，确保数据解决方案满足业务需求。 编写技术文档和维护数据仓库的数据字典。 职位要求： 拥有5年以上数据仓库领域的工作经验。 精通SQL和数据库技术，有实际操作大型数据库的经验。 具备扎实的数据模型构建经验，能够独立设计和优化复杂的数据模型。 对数据质量和底层数据处理具有丰富的经验，能够有效解决数据问题。 熟悉dbt的应用，有实际使用经验者优先。 具备良好的分析思维和问题解决能力，能够独立完成项目。 良好的沟通和团队合作能力，能够与不同背景的团队成员有效沟通。

职位职责： 1、负责保护公司电商平台的数据安全，防范和打击爬虫及其他恶意行为，研究和掌握最新的反爬虫技术，制定和实施有效的反爬虫策略； 2、深入了解上下游业务形态，可独立发起治理专项，快速定位问题并形成落地策略及效果评估闭环； 3、分析和调查电商平台上的异常流量和可疑活动，从海量设备、行为数据中发掘有价值的信息； 4、可协助进行建模工作，如特征分析、数据可视化呈现等，为团队决策提供数据支持； 5、与产研团队高效合作，优化技术架构和端上安全能力，建立端管云三位一体的反爬体系，量化防控效果，驱动反爬能力的不断提高。 职位要求： 1、计算机、信息安全、统计、数学等相关专业； 2、3年相关反爬相关经验，具备网络安全、数据保护和风险管理方面的专业知识，有电商经验者优先； 3、熟练掌握SQL、Python等编程语言，具有扎实的数据分析能力及学习能力； 4、深入了解常见的爬虫技术和工具，具有丰富的反爬虫经验，熟悉 Web 安全、网络协议、漏洞扫描等相关技术； 5、具有较强的问题解决能力，能够快速分析和处理安全事件，具备良好的团队合作精神和沟通能力。

平时可以阅读英文的计算机API文档，并且需要有一定的Java基础。对爬虫抓网页的工作内容感兴趣，如果不符合以上条件，请勿投递，谢谢。 工作职责： 1、IOS, Andriod APPs以及网站的逆向分析及漏洞挖掘，并对逆向数据进行采集抓取； 2、爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、有过Akamai，Perimeterx经验的优先； 任职需求： 1、应届毕业生，熟练掌握Java语言； 2、熟悉IDA、 JEB 、LLDB、JADX等常用逆向分析工具，具备逆向分析能力； 3、熟悉各种通用加解密算法，有一定的脱壳反混淆，反调试经验； 4、熟悉常见的Xposed hook技术，注入技术，常见安全产品绕过等技术； 5、做事有责任感，具有良好的逻辑思维，很强的执行力和自我驱动力。 【福利政策】 1、混合办公模式，根据工作年限每月可申请居家办公2-8天。 2、10天- 25天带薪年休假； 3、13薪及每年全员调薪，根据入职时间、工作表现和企业经营状况； 4、补充医疗保险及每年健康体检； 5、旅游补贴及公司团建； 6、每周供应2次免费午餐； 7、节假日礼品卡福利及节日下午茶供应。

职位职责： 1、为字节跳动抖音、电商等业务线的反爬效果和指标负责，解决业务痛点问题； 2、提升业务风险感知能力，结合具体场景，数据指标，主动发现问题并提出解决方案，对业务风控效果负责； 3、推动智能化产品落地，不断提升平台化能力，提高风控效率； 4、研究新的产品动向和前瞻探索，借鉴业界的新思路持续优化产品策略，使反爬处于行业领先水平。 职位要求： 1、本科及以上学历，责任心强，思维逻辑严谨，对数据敏感； 2、有互联网风控策略制定经验，从事过反爬虫、流量反作弊方向工作； 3、有互联网安全策略管理经验，包括但不限于风险发现、制定模型或策略、推动方案落地； 4、1年以上策略产品或数据分析工作经验；熟练掌握大数据分析工具使用，不限于SQL/PySpark/Flink等； 5、具备攻防思维，熟练掌握常见的反爬虫技术和数据安全风险。

工作职责: 1、从事人工智能领域研究工作，包括不限于行业应用的跟踪分析与研判工作； 2、开展公司人工智能技术的应用研究、融合规划及材料撰写工作； 3、负责智能项目管理工作，进行智能产品规划与设计工作； 4、完成其他相关重点工作。 任职资格: 1、硕士研究生或以上学历； 2、具有较强文字功底及逻辑思维能力；具有优秀的表达、沟通与协调能力； 3、有1年以上咨询研究工作经验，有咨询公司、第三方评测机构工作经验者优先； 4、喜欢跟踪和研究分析人工智能与保险领域最新动态，对人工智能、金融保险行业有一定了解。

岗位职责： 1. 使用SQL等数据抓取工具从各种数据源中提取数据，并进行数据清洗和整理。 2. 运用统计学和数据分析方法对数据进行分析，发现趋势、模式和关联性。 3. 利用数据可视化工具（如Tableau、Power BI等）创建仪表盘、报告和可视化图表，以向利益相关者传达数据洞察。 4. 协助团队成员进行数据分析项目，提供支持和建议。 5. 监测和评估数据质量，确保数据的准确性和完整性。 6. 跟踪行业趋势和竞争对手的数据，提供市场洞察和建议。 岗位要求： 1. 2-3年相关工作经历。 2. 熟练掌握SQL等数据抓取工具，能够编写和优化复杂的查询语句。 3. 具备数据清洗和整理的技能，能够处理大量数据并确保数据的准确性。 4. 熟悉统计学和数据分析方法，能够运用这些方法解决实际问题。 5. 熟练使用数据可视化工具，能够将数据转化为易于理解和传达的可视化图表和报告。 6. 对商业和旅游行业有浓厚的兴趣，了解相关行业的趋势和挑战。 7. 具备良好的沟通和团队合作能力，能够与不同部门和利益相关者进行有效的合作。 8. 具备解决问题和分析能力，能够快速理解和解决复杂的数据相关问题。

岗位职责： 1、负责零售经营决策类产品需求收集、需求分析、需求编写等工作。 2、产品功能推广和用户使用的Q&A等支持工作。 3、产品持续优化和迭代，跟踪用户使用反馈，抽象总结产品优化、迭代功能需求，提升产品体验和价值。 4、跨部门的协调和推动业务产品的建设、落地,以及业务推广等工作。岗位要求： 应聘人员基本条件：年龄 35 周岁（含）以下；金融、财务、数学、计算机、软件工程等相关专业，大学本科及以上学历，研究生学历优先；初级岗位人员，具备至少2年产品开发工作经验，中级岗位，具备至少3年产品开发工作经验，高级岗位，具备至少5年产品开发工作经验。 1、熟悉金融业务流程、业务操作体系和相关法律法规，熟悉银行零售相关的产品、业务流程者优先考虑。 2、具备一定的组织协调能力，能跨部门、团队进行有效的沟通和协调。 3、对系统技术落地和实现有一定的认识，能与技术团队进行良性沟通和协作。 4、有主人翁精神，积极主动承担工作；热爱学习，敢于挑战。

负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。 岗位职责∣Responsibilities: 1、熟练掌握Python，熟悉Linux开发环境； 2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息； 3、解决技术疑难问题，包括各种反爬、压力控制等；提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制； 4、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库； 5、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理； 6、开发代码的维护更新，Linux服务器的维护，文档维护； 7、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持； 履职要求∣Requirements: 1、大学本科及以上学历，计算机相关专业，基本的英语阅读能力； 2、耐心、细心，有较强的逻辑思考能力和良好的工作习惯，态度认真负责； 3、有三年及以上的爬虫、数据处理、数据分析经验，有大数据爬虫经验尤佳；有音乐行业经验优先； 4、熟练掌握Python，HTML，JS/CSS等技术；熟悉scrapy，feapder等爬虫框架，有分布式爬虫经验；熟悉正则、xpath等提取方法； 5、熟悉常见的反爬虫技术如文本混淆、验证码、加密破解，api限制等；精通网页抓取原理及技术，熟悉MySQL、Redis、Postgrep等；熟悉Internet基本协议 (如TCP/IP、HTTP等) ； 6、熟悉Linux环境，使用脚本开发维护Linux服务器； 7、具有良好的表达能力，团队合作能力；具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿；

目前招聘画像： 1.资深数据爬取经验 2.数据清洗，数据处理（体量在1 T以上） 3.有算法背景，数据挖掘经验 数据处理 了解NLP算法 岗位职责： 1. 负责研究院数据采集工作，包括文本、图片、视频等多种类型数据，持续更新和扩大数据集规模； 2. 根据项目需求，快速进行数据抓取代码和清洗代码开发； 3. 协助研究团队对数据进行清洗、过滤、存储等处理工作； 4. 对数据平台存储的海量数据进行管理和维护。 岗位要求： 1. 985 211优先考虑，计算机相关专业，熟悉计算机基础知识，具有3年及以上爬虫与反爬工作经验； 2. 熟悉linux平台开发，精通Python，熟悉各种爬虫框架和工具，掌握验证码识别技术、js逆向等常用反爬技能； 3. 熟悉大数据处理的流程以及熟练使用相关的工具，具备使用、维护、调优的能力，包括但不限于Hadoop、Spark、Kafka、ELK、Flink、ClickHouse、kettle等； 4. 熟悉Socket网络编程，多线程/进程/异步code的开发，掌握TCP/IP，UDP及常见变种网络通信协议，熟练使用工具对网络协议进行报文分析和调试，熟练使用正则表达式，xpath等匹配方法，能够快速从原始数据中提取有用信息； 5. 良好的沟通能力，抗压能力强，能独立解决开发过程遇到的各类问题； 6. 有大规模项目爬取工作经验优先，有大数据处理工作经验优先。

【岗位职责】: 1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等: 2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等: 3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略: 4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量: 5、实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性； 6、有良好的编码能力，逻辑思维缜密，能独立分析解决问题。 【任职要求】 1、本科及以上学历，计算机相关专业: 2、至少3年及以上爬虫经验: 3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力; 4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先; 5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究: 6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术; 7、熟悉常用网络协议、数据存储和数据处理技术。 8、熟悉linux系统环境、命令，shell、python脚本编写; 9、熟悉常见爬虫框架(如Scrapy)，有大规模爬虫系统开发经验; 10、有机票行业从业经验优先。

非杭州伙伴可以线上办公！！！ 岗位职责： 1.爬虫开发、与内部系统后端开发对接；负责爬虫系统构架的数据存储设计； 2.建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善； 3.理解系统数据处理流程以及业务功能需求； 4.保证数据的完整性和准确性。 岗位要求: 1、熟悉js逆向、js注入、反混淆、熟悉jsRPC服务； 2、计算机相关专业专科及以上学历(有项目经验可以放宽）； 3、熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言； 4、有一定的反爬虫对抗经验，分布式爬虫布局； 5、电商类网站爬虫经验优先，有高频爬虫工作经验者优先； 6、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先。

岗位职责： 1.负责维护现有数据源爬虫系统； 2.配合业务，负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 3.负责管理并持续优化数据结果，协助数据处理，配合完善基础数据库建设； 4.负责协助相关业务开发落地； 任职要求： 1.大专及以上学历，计算机软件相关专业，或数学相关专业，3年及以上Python相关岗位工作经验； 2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验； 3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具； 4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等；； 6.有解决封账号、封IP、网页抓取、信息抽取等问题的经验，可构建完善的网络信息收集平台； 7.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验； 8.有数据分析、数据挖掘相关经验者优先，有良好的沟通能力和责任感，能够承担工作压力，独立分析和解决问题者优先； 9.有数据分析产品全生命周期经验的优先；

岗位JD如下: 职位名称:爬虫实习生 公司名称:XX公司 职位描述: 作为我们的爬虫实习生,你将有机会参与我们的数据采集和爬取工作,帮助我们的团队获取和处理数据。你将负责使用Scrapy和XPath等工具,编写爬虫程序,并对提取的数据进行处理和存储。此外,你还将学习使用JavaScript进行逆向分析,以提高数据处理的效率和准确性。 职位要求: 1. 具备计算机科学专业背景,对数据结构和算法有基本的了解。 2. 熟悉Scrapy和XPath等爬虫框架,能编写爬虫程序,并对提取的数据进行处理和存储。 3. 熟练掌握JavaScript编程语言,具备逆向分析技能。 4. 具备良好的团队合作能力和沟通能力,能够与团队其他成员有效地合作。 5. 具备基本的网络知识,了解HTTP协议、HTTPS协议等。 工作内容: 1. 使用Scrapy和XPath等爬虫框架,编写爬虫程序,并对提取的数据进行处理和存储。 2. 使用JavaScript进行逆向分析,提高数据处理的效率和准确性。 3. 参与数据仓库的设计和开发,熟悉SQL语言。 4. 参与项目开发,了解前后端开发流程,并能与开发人员进行沟通和协作。 5. 完成团队交办的其他任务。 岗位福利: 1. 具有竞争力的薪资待遇,享受带薪年假、节日福利等。 2. 提供良好的工作氛围和发展空间,定期组织团队建设活动。 3. 提供必要的培训和技能提升机会,包括 buting基础培训、算法基础培训、数据结构与算法培训等。

专员/主管 工作职责: 1、负责各类主流电商平台数据抓取和维护； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，解决爬虫遇到的各种反爬问题； 3、负责对接各国内电商平台的API，获取各店铺的销售、库存、财务、广告等数据； 4、负责爬虫数据的清洗，存储等大数据开发工作； 5、与产品经理、下游团队等部门人员沟通，对外提供各种服务完成整体业务需求达成业务目标； 6、使用容器化技术，解决系统自动化部署及爬虫资源分配问题。 任职资格: 1、本科及以上学历，计算机科学、数据科学相关专业背景优先； 2、至少3年以上经验，有大规模数据处理和复杂数据模型的经验； 3、至少2年电商行业经验，清楚电商基本业务知识； 4、熟练掌握编程语言，如Python、sql、海豚等； 5、具备代码调试、环境部署、任务调度等能力； 6、熟悉主流电商平台相关数据平台的操作（如生意参谋、数据银行、巨量云图等）； 7、具备团队合作精神，良好的沟通能力和解决问题的能力。

负责为海外音乐项目搜索采集数据，为团队的海外运营提供决策支持（自有项目，非乙方）。 岗位职责∣Responsibilities: 1、熟练掌握Python，熟悉Linux开发环境； 2、负责设计和开发爬虫，精通海外网页（Youtube、Spotify、Google...）抓取原理及技术，从各种web页面、APP中获取目标信息； 3、负责爬虫团队的日常工作安排及管理。 4、解决技术疑难问题，包括各种反爬、压力控制等，提升网页抓取的效率和质量。有能力解决封账号、封IP、验证码识别、图像识别等问题，有能力解决复杂的反爬限制； 5、大规模爬虫系统的设计、数据REST API的设计、开发、维护、调优，第三方数据源的对接、预处理、入库； 6、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；不限于使用代码规则类进行数据清理； 7、开发代码的维护更新，Linux服务器的维护，文档维护； 8、支持部门数据需求，包括但不限于搜索数据来源、数据清洗、数据挖掘、为团队提供决策支持； 履职要求∣Requirements: 1、大学本科及以上学历，计算机相关专业； 2、耐心、细心，有较强的逻辑思考能力，和良好的工作习惯。 3、有5-10年的爬虫、数据处理、数据分析经验; 有团队管理经验；有音乐行业经验优先； 4、掌握HTML，JS，及熟悉JS反扒破解；熟悉常见的反爬虫技术如文本混淆反爬虫、验证码等； 5、熟练掌握Python数据结构与常用算法；熟悉scrapy等爬虫框架，有scrapy-redis分布式爬虫经验;熟悉正则、xpath等提取方法； 6、了解pandas、numpy掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式； 7、熟悉MySQL部署、开发与维护； 8、熟悉Linux环境，使用脚本开发维护Linux服务器； 9、具有良好的表达能力，团队合作能力;具有很强的责任心，乐于挑战，有较强的深入学习理解业务的意愿。