1）对公司各项目所需的网络数据源进行数据抓取；2）按要求完成数据抓取前的配置等准备工作，确保所负责的网站按周期采集及时、全面；3）完成团队安排的其他工作1）计算机、数学、统计、软件工程等相关专业本科及以上学历，熟悉Python编程语言；2）熟悉scrapy, pyspider等爬虫框架，熟悉数据清洗方式以及正则；3）熟悉主流反爬策略并能够突破反爬限制；4）独立设计或开发过爬虫框架者加分，有分布式爬虫经验加分