-
1、负责爬取HTML页面所需数据,并对数据进行清洗、解析、归档、输出等; 2、负责设计和开发分布式的网络爬虫,数据的采集与爬取、调度、监控、自动化运行等; 3、负责实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性。 4、负责js渲染抓取,反爬虫策略研究,验证码识别等采集支撑服务建设; 5、参与公司业务平台的数据的挖掘和分析,协助进行产品改进。 任职资格 1. 本科以上,计算机或相关专业毕业,扎实的Python基础,熟悉多线程编程环境,熟悉常见开源框架; 2、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术; 3、熟悉Scrapy、feapder等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究,如协议破解、模拟点击等; 5、熟悉代理IP池、Headers认证和Cookie等;
-
职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 一年及以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
岗位职责: 1. 负责Ai平台的服务及工具开发; 2. 参与业务需求调研及评审,能提供多种解决思路和方案; 3. 负责日常需求技术方案的设计、资源协调沟通,主动推进方案的落地; 4. 负责新技术的调研及引入,针对新的业务场景和挑战,能引入新的技术方案并落地实施; 5. 负责系统的日常维护、监控及优化; 任职要求: 1. 本科及以上学历,3年以上Python后端开发经验; 2. 熟练掌握Flask/Django/Tornado等web框架的使用,并进行相关项目开发工作; 3. 熟练掌握Celery异步任务框架,掌握其常见的配置参数和原理; 4. 熟练掌握LangChain、Pandas等主流库的使用; 5. 对Ai领域有一定了解,有相关项目经验者优先; 6. 能使用git进行版本控制管理,熟悉Redis、kafka常见中间件的使用,对其工作原理有一定理解; 7. 责任心强,良好沟通协作能力,喜欢探索,拥有较强的学习适应能力;
-
岗位职责: 1. 负责原有采集程序维护 2. 针对新的数据需求进行平**控调研以及采集策略制定 3. 能够完善现有采集系统,有进行数据可视化呈现的经验 4. 能够不断精进应对风控的采集技能。 岗位要求: 1. 熟悉python,js编程,熟悉安卓、ios开发流程更佳。 2. 有过硬的web端逆向能力,有过市面上常见的验证码对抗经验。 3. 掌握常见的python爬虫框架如scrapy等 4. 掌握常见的数据库(redis,mysql,hive,impala等) 3. 有国内电商相关数据采集经验,熟悉国内各电商平台业务逻辑。
-
爬虫开发工程师(深圳) (MJ001447)
[深圳·福田区] 07:35发布20k-30k·13薪 经验3-5年 / 本科旅游|出行 / D轮及以上 / 500-2000人岗位职责: - 根据项目需求,负责爬虫调研、评估、开发及维护等全流程工作。 - 参与爬虫系统的架构设计、开发与优化。 - 负责攻克反爬风控手段。 - 实时监控爬虫状态,及时处理爬虫异常。 岗位要求: - 本科及以上学历,3年以上工作经验。 - 熟练掌握scrapy,selenium等相关框架,python及爬虫基础扎实。 - 熟悉各类常见的风控措施,熟悉js逆向,app逆向加分,熟悉web前端知识,能解决常见反爬问题。 - 有良好的沟通能力,及较强的责任心。 - 过往工作经历有电商、在线旅游行业爬虫经验者优先。 -
职位职责: 1、负责保护公司电商平台的数据安全,防范和打击爬虫及其他恶意行为,研究和掌握最新的反爬虫技术,制定和实施有效的反爬虫策略; 2、深入了解上下游业务形态,可独立发起治理专项,快速定位问题并形成落地策略及效果评估闭环; 3、分析和调查电商平台上的异常流量和可疑活动,从海量设备、行为数据中发掘有价值的信息; 4、可协助进行建模工作,如特征分析、数据可视化呈现等,为团队决策提供数据支持; 5、与产研团队高效合作,优化技术架构和端上安全能力,建立端管云三位一体的反爬体系,量化防控效果,驱动反爬能力的不断提高。 职位要求: 1、计算机、信息安全、统计、数学等相关专业; 2、3年相关反爬相关经验,具备网络安全、数据保护和风险管理方面的专业知识,有电商经验者优先; 3、熟练掌握SQL、Python等编程语言,具有扎实的数据分析能力及学习能力; 4、深入了解常见的爬虫技术和工具,具有丰富的反爬虫经验,熟悉 Web 安全、网络协议、漏洞扫描等相关技术; 5、具有较强的问题解决能力,能够快速分析和处理安全事件,具备良好的团队合作精神和沟通能力。
-
【职位优势】 1. 腾讯背书的金融平台,分享海外投资趋势和公司快速成长的红利; 2. 公司内部定期课程,提升个人投资认知,助力财富管理能力成长; 3. 六险一金、上市公司、行业龙头、前景广阔。 【岗位职责】 1. 负责公司多媒体相关业务后端系统的设计和开发; 2. 负责现有web后端系统的维护、升级改造和性能优化; 3. 与团队其他角色紧密配合工作,共同创造稳定易用的产品。 【任职要求】 1. 本科以上学历,3年以上的Web后端开发经验,行业背景不限,大厂开发经验优先,入职后会以GO作为开发语言(Python为辅旧项目); 2. 熟悉linux web开发平台及工具,熟悉nginx服务器的配置优化工作; 3. 熟练使用MySQL,良好的数据库设计和丰富的优化经验; 4. 熟悉NoSQL技术(redis,memcached等),熟悉ES、消息队列技术; 5. 有Web安全意识,熟悉常见的Web安全问题以及防御措施; 6. 良好的技术架构能力和项目经验,善于发现技术问题和提出解决方案; 7. 有较强的学习能力,有良好沟通能力以及团队协作精神,能够承担工作压力。
-
岗位职责: 1. 负责部门后端核心模块技术需求分析、开发与维护工作 2. 参与业务模块架构设计和演进 3. 负责关键技术研究、方案设计等工作 岗位要求: 1. 5年以上开发经验,精通Python或golang编程,掌握常用框架,了解框架特性和实现原理,具备良好的编码风格、工程化能力 2. 熟悉主流数据库和消息中间件(Mysql、PostgreSql、MongoDB、Redis、Kafka、Rabbitmq、Pulsar等)的使用和相关技术原理及调优 3. 具备解决复杂或疑难问题的能力,有良好的技术分析和设计能力 4. 热爱技术,具备较强的沟通协作能力,有较强的团队合作精神和敬业精神 5. 对网络通信及常见网络部署架构熟悉者优先 6. 对网络攻防、漏洞原理熟悉者优先考虑,了解网络安全产品,例如SOC、态势感知、漏洞扫描、资产测绘等优先考虑
-
岗位职责: 1. 开发企业安全解决方案探针及引擎服务器,探针负责收集机器或者网络流量里相关的信息,引擎接收探针采集的数据并且做分析。 2. 引擎对这些数据采用多个检测模块包括规则模块、统计分析模块和机器学习模块等做判断是否网络被入侵并且对相关信息做关联。 任职资格: 1. 熟练掌握Linux下C++开发,同时掌握python等脚本语言,具备完全独立开发和架构的能力。 2. 具备以下至少两项项目经历:1)Linux服务器开发,包括服务器的分级、平行延展;2) 实时接受大量数据,对数据采用规则、统计分析以及机器学习等发现威胁和异常; 3) Linux终端和服务器里行为数据的采集,这个需要有Kernel开发的经验; 4) 风控/基线分析/画像分析项目经验; 5) 网络流量数据的采集和分析; 6) 零信任项目经验; 7)通过行为分析保护数据安全的项目经验。 3. 熟练使用redis、ES、Kafka等。 4. 对不熟悉的内容具有参考业内项目快速学习的能力。 5. 工作具有主动性以及良好的团队合作精神,愿意在有需要的时候帮助其它团队成员解决不是自己负责的内容的问题。
-
岗位职责: 1、围绕海量微博UGC文本数据和亿级用户交互日志数据,实现高性能的实时处理和分析系统。 2、围绕热点话题词,通过数据分析,建设热点评估的各项重要特征,包括热度、内容价值、类别,关系特征等 3、负责热点的挖掘和推荐服务流程,参与服务流程优化和架构升级,参与功能效果的迭代开发。 任职资格: 1、扎实的编码能力与算法基础,熟练使用Linux下的python/shell/c++/php中2门以上的语言开发。 2、具有良好的沟通能力和良好的团队合作精神,学习能力强 3、熟悉hadoop、hbase、hive的使用,并了解基本原理。 4、参与过实时统计系统、个性推荐的项目方向,有数据分析经验,优先选用。 5、工作以业务发展为导向,积极负责。
-
工作职责: 负责交易后台和算法的设计和开发工作; 负责系统架构设计、数据库结构设计、业务逻辑抽象等编码工作; 任职要求: 熟悉Python3.6; 熟练运用python的多进程多线程; 熟悉数据结构和算法; 熟悉MySQL,熟悉至少一种NoSQL者优先; 熟悉redis; Flask、Jinja2、Gunicorn等开发有一定了解。
-
岗位职责: 1.本职位主要是参与电子数据取证/分析产品模块设计和研发; 2.主语言是python,但会涉及go,要求代码能同时运行Windows与Linux平台; 3.根据项目计划按时完成软件开发和单元测试工作以及Bug修复; 4.不断学习并运用新的知识提升产品竞争力。 任职要求: 1.本科及以上学历,思维清晰,沟通良好,具备良好的分析、理解、解决问题的能力; 2.理解数组,链表,树的等基本数据结构。了解设计模式; 3.至少有python 1年以上实际项目经验; 4.了解Linux常用命令,了解TCP/IP协议簇; 5.熟悉git基本操作。 加分项: 1.维护技术博客/公众号,或者有开源项目者优先; 2.有C++/go开发基础者; 3.有Linux下开发经验者; 4.有Windows维护经验者(了解注册表,Powershell之类)。
-
岗位职责 1.负责用Python语言实现产品的后端研发; 2.负责高质量的设计和编码; 3.承担重难点技术攻坚任务; 4.参与产品的讨论和开发实现。 岗位要求 1.一年以上工作经验; 2.熟悉Python后台开发,有完整的项目开发经验,熟练使用Django或Flask框架; 3.熟悉Linux平台,能够独立完成Python项目部署、调优、运维; 4.熟悉MySQL数据库和Redis数据库; 5.对项目安全性问题和并发问题有一定理解和相应的解决方法。
-
工作职责 1、负责云基础设施运维平台的设计、开发及维护 2、负责调研业界前沿方向,提升云基础设施的运维质量和效率 工作要求 1、本科以上学历,计算机相关专业 2、5年以上开发经验,精通Go或Python,具备丰富的后端开发经验 3、主导开发过运维自动化平台的优先 4、优秀的沟通、项目管理、文档撰写能力,有团队管理经验的优先
-
岗位职责: 1、负责S-Data监控系统功能组件的优化及组件架构设计开发工作。 2、负责监控系统快速部署实施的优化。 3、负责软件、硬件监控接口的对接实现。 任职要求: 1、*****本科及以上学历,计算机相关专业,3年以上相关工作经验; 2、精通Python语言,能够独立进行产品功能组件的开发。 3、精通Shell脚本编写,可以快速完成脚本开发。 4、熟练使用Django、DRF、Celery构架,能够独立的进行WEB后台服务开发。 5、熟练使用版本管理工具(git),具有规范的代码编写习惯。 6、具有容器平台使用、维护经验者优先 7、具有自动化运维经验,开发过日志分析、CMDB、应用发布、工作流处理、数据报表相关自动化运维平台者优先考虑。 8、有golang开发经验者优先。 9、熟悉开源监控系统zabbix、open-falcon、prometheus者优先。 工作认真,有责任心,踏实可靠,沟通表达能力较好,注重团队合作,良好的职业操守;学习能力强,有创新精神。