【工作内容】- 负责设计、开发和维护高效的数据采集系统,以支持公司业务需求;- 与跨职能团队紧密合作,包括产品管理、软件工程和业务分析等,以确保数据采集流程的准确性和效率;- 研究并应用最新的数据采集技术和工具,以提升数据质量和处理速度;- 对现有数据采集流程进行持续改进,解决数据获取过程中遇到的技术难题;- 分析和评估数据源的质量,制定相应的数据清洗和转换策略;- 定期报告数据采集进度和成果,以及可能存在的问题和解决方案。【任职要求】- 熟悉Python、Java或C++等编程语言,能够熟练使用至少一种主流编程语言;- 具备良好的SQL知识,能够编写复杂的查询语句;- 熟练掌握至少一种ETL工具(如Apache NiFi, Talend, Informatica等);- 对大数据技术栈有一定了解,熟悉Hadoop、Spark等分布式计算框架者优先;- 强烈的责任心和团队协作精神,具备良好的沟通能力;