岗位职责：
1、参与爬虫系统核心技术架构设计及开发;
2、负责设计爬取、调度和分布式高可用的实现；
3、负责网页信息和数据抽取、清洗、消重等工作，提升平台的抓取效率;
4、编写维护产品中用到一些自动化脚本(自动化部署、自动化测试等) ;
5、完成其他相关工作任务。
任职资格：
1、计算机相关专业本科及以上学历，3年以上的Python开发经验；
2、熟练掌握Python语言，掌握scrapy、selenium、puppeteer等数据抓取方面常用的python库；
3、有海量数据爬取经验者优先，有大数据量、大并发项目经验者优先，有互联网、电商平台、移动端数据爬取技术经验者优先；
4 、有良好的代码习惯，结构清晰，熟悉Git版本管理；
5、 优秀的跨部门沟通和团队协作能力，关注细节，执行能力强，工作态度严谨。