岗位职责：
1、负责分布式网络数据采集系统及数据库的设计与开发；
2、设计数据采集策略和防屏蔽规则，解决封账号、封IP、验证码等技术问题；
3、维护和优化已有数据采集服务；
4、负责数据采集服务核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量。
6、与团队其他人员高效沟通合作完成团队目标；
7、完成上级交办的其他工作任务。


任职要求：
1、本科及以上学历，3年及以上工作经验，计算机软件相关专业，具有扎实的操作系统、网络、数据库相关基础知识；
2、熟练掌握python多进程、多线程、协程、网络编程；
3、熟悉Linux操作系统，熟练使用常用命令；熟练掌握MySQL、MongDB、Redis开发经验者优先；
4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息；熟悉Scrapy、Pyppeteer、Selenium、playwright等爬虫框架/工具中的一种或多种；
5、了解常用验证码识别技术，熟悉行为验证码识别、模拟登陆，熟悉各种反爬机制和解决措施；
6、对经手的工作理解深入，有团队观念，具备独立解决问题的能力，善于学习提升。