岗位职责：
1、 能够使用 Python 进行网页、app等数据采集，进行数据的抓取、清洗、结构化、入库等工作；
2、搭建数据采集体系，构建数据结果展示体系，供行业分析师进行报告的撰写支撑；
3、参照数据体系，整理底层各种结构化和非结构化数据源，进行标准化清洗和建模，建立数据标准化。


任职要求：
1.统招专科及以上学历，工作经验3年及以上，2年及以上爬虫、反爬虫研发经验；
2.精通python开发，熟练使用scrapy开源爬虫框架；
3.熟悉多线程、网络编程以及分布式爬虫架构开发场景；
4.熟悉MYSQL/mongodb数据库的常规使用；
5.熟悉Kafka、Hadoop等常见大数据中间件使用；
6.熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段；
7.熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
8.具备C++ GUI开发经验优先考虑；