【工作内容】- 负责设计、开发和维护高效的数据采集系统,确保数据的准确性和完整性。- 根据业务需求,选择合适的数据源,采用爬虫技术或其他数据采集方法进行数据抓取。- 对采集到的数据进行清洗、转换,以适应数据分析的需求,并保证数据质量。- 配合团队成员进行数据验证和测试,确保数据采集系统的稳定运行。- 不断优化数据采集流程,提高数据采集效率和准确性。- 分析和解决数据采集过程中遇到的技术问题,保障项目的顺利推进。【任职要求】- 计算机科学或相关领域的本科及以上5,不限工作经验,欢迎应届毕业生加入。- 熟练掌握Python等编程语言,有良好的编码习惯和文档编写能力。- 具备基本的数据库知识,了解SQL语言,熟悉MySQL、MongoDB等数据库系统者优先。- 掌握至少一种Web爬虫框架(如Scrapy),能够独立完成数据抓取任务。- 逻辑思维清晰,对数据敏感,具备良好的数据分析和处理能力。- 具备良好的沟通能力和团队协作精神,能与跨职能团队有效合作。- 有责任心,面对挑战时能够保持积极主动的态度,勇于接受新事物和技术。