岗位职责：
1.负责维护现有系统ETL
2.负责维护现有爬虫系统，进行多平台多终端信息的抓取和分析
3.负责网页/App端页面抓取及分析，能够对各种页面解析设计详细的解决方案，并具体实现；
4.负责防屏蔽、数据清洗等爬虫相关研发和优化工作。
5.领导交办其他事项

任职要求：
1、本科及以上学历，计算机相关专业，2年以上爬虫，后台开发工作经验，项目经验丰富应届生亦可；
2、熟悉html/css/xpath/ajax/xml等技术，熟悉HTTP传输协议，精通网页抓取原理和整合技术，熟悉正则表达式；
3、熟悉Python，熟悉Scrapy爬虫框架和Linux操作系统，有丰富的反爬经验；
4、熟悉MongoDB/Redis/MySQL/Hbase/PQ/ES其中至少俩种。
6、有高并发后端经验优先考虑
7、有Golang经验优先考虑
8、有分布式爬虫经验优先考虑
9、有良好的代码编写习惯，具有良好的沟通、协作能力，有责任心。