岗位内容
1、根据开发规范与流程完成模块的设计、编码、测试以及相关文档；
2、辅助进行系统的功能定义，程序设计；
3、分析并解决软件开发过程中的问题；
4、协助测试工程师制定测试计划，定位发现的问题；
5、配合项目经理完成相关任务目标。
6、设计、实现并维护高效的网络爬虫，负责抓取和提取网页数据。
7、数据清洗及处理，保证数据的准确性和完整性。
8、应对各种反爬虫技术挑战，确保爬虫的稳定运行和数据的可靠性。
岗位要求
1、本科及以上学历，计算机相关专业优先；
2、3年左右Java开发经验，熟悉SpringMVC、Springboot、springcloud等主流框架，能进行核心代码的编写；2年及以上使用Python进行网络爬虫开发的经验；
3、熟悉单例模式、工厂模式、动态代理等常见设计模式，熟悉MVC、ORM、AoP、IoC等设计思想；
4、熟悉大流量、高并发、高性能的分布式系统的设计、中间件及相关应用，擅长性能调优者优先；
5、熟悉常见数据库、有监控、日志、调用链等相关开源组件使用经验优先；
6、熟练使用Scrapy、pyspider等爬虫基本库。
7、熟练掌握常见反爬机制的处理方法，如滑块验证码、JS加密、自定义字体等。
8、熟练掌握APP数据采集、抓包工具和无界面浏览器的使用。
9、对MySQL、MongoDb等数据库增删改查操作熟悉；熟悉Linux系统的基本操作。
10、思路清晰，善于思考，能独立分析并解决问题，且责任心强，具备良好的团队合作精神。