【工作职责】：1、负责分布式网络爬虫系统及数据库的设计与开发；2、研究及破解电商及自媒体app反爬策略，保证爬取的稳定性；3、维护和优化已有的爬虫服务；4、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量；5、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理；6、分析、理解大数据业务需求,设计技术方案并落地实施;7、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案；8、可以独立跟进需求项目开发进度。硬性要求：做过电商信息爬取，优先淘宝（任意端）、拼多多APP、京东（任意端）、美团APP 这四个平台任意一个即可，且***是最近实现过的1、要求 有app 逆向经验2、有web逆向经验3、有自己开发算法处理自动过验证码经验4、能独立对接项目平台开发能力【任职要求】：1、计算机相关专业，5年以上Python爬虫工作经验；2、熟悉爬虫原理及常用的反扒技术，包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具备较好的前端分析技能；2、熟悉各类HOOK框架包括单不限于frida、xposed；3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验，有App端数据采集经验；4、熟悉网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法；5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架；6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis)02，熟悉索引技术和SQL优化，了解RabbitMQ、InfluxDB。
