同时也招聘在校实习生、兼职
工作职责：
1、 根据业务需求设计并开发分布式爬虫系统，对不同网站上的多源异构数据进行抓取，同时进行必要的数据清洗、处理、去重等操作；
2、 研究并整理各类爬虫策略，对现有智能爬虫框架进行完善，提高系统的自动化、智能化水平；
3、 研究各类反爬机制（如验证码、滑块等）与防屏蔽机制（如代理池、模拟登录等），并形成一套可复用的组件、工具，提高系统的稳定性、成功率；
4、 对已有爬虫系统进行定期维护，确保程序正常运行、数据正常获取；
5、 参与数据采集系统的架构设计和开发，对平台进行持续改进和优化。

任职资格：
1、 计算机相关专业本科及以上学历；
2、 熟练掌握Python语言，熟悉常用爬虫框架，如Scrapy、pyspider等；
3、 熟练掌握Mysql等关系型数据库，熟悉MongoDB等非关系型数据库；
4、 熟练使用多线程、正则表达式、XPATH、CSS选择器等爬虫开发常用技能；
5、 有相关开发经验者优先，熟悉反爬机制、反屏蔽机制者优先；
6、 具备良好的沟通、团队合作、技术指导能力，对解决挑战型问题充满激情。
此岗位可线上办公，180-200/天