工作内容:负责公司数据采集相关工作,包括但不限于以下几个方面:- 数据源的对接和维护:对接公司内部各种数据源,包括第三方数据源,维护数据源的稳定性和可靠性,确保数据源的安全性和合规性。- 数据采集工具的使用和维护:熟练掌握各种数据采集工具,如Python、Java等,使用包括但不限于pig、hadoop、etc等工具进行数据采集,维护工具的使用稳定性和可靠性,并确保数据采集的合规性。- 数据预处理和清洗:对采集到的数据进行清洗、去重、格式转换等预处理工作,提高数据质量和有效性。- 数据可视化和报告输出:将采集到的数据进行可视化和报告输出,以便于公司领导和客户进行查看和分析。- 其他相关工作:配合部门的同事完成相关工作,包括但不限于部门的日常工作,与其他部门的沟通协作等。主要职责:- 负责公司数据采集相关工作,包括但不限于数据源的对接和维护、数据采集工具的使用和维护、数据预处理和清洗、数据可视化和报告输出等。- 保持对数据质量的追求,积极改进和优化数据采集的流程和方法,提高数据质量和准确性。- 具备较强的沟通能力和团队合作精神,积极与其他部门的同事进行沟通和合作,确保公司的相关工作高效、稳定地进行。职位要求:- 熟练掌握各种数据采集工具,如Python、Java等,了解数据采集的基本原理和相关技术。- 具有扎实的计算机基础,了解常见的数据结构和算法,有一定的编程能力。- 熟悉常用的数据预处理技术,如数据清洗、去重、格式转换等。- 熟悉常用的数据可视化和报告输出工具,如PuTTY、EChO等。