岗位职责1.负责数据开发相关工作,运用 Spark SQL、Python等技术手段,解决数据迁移中的调度、查错以及性能调优等各类问题,确保数据迁移工作顺利进行。2.有过大数据量的数据迁移项目经验,着重负责数据迁移过程中的数据质量校验工作,保障数据迁移质量。3.深度参与项目的全开发流程(包含数据采集、清洗、建模等环节),凭借丰富的数据开发与实战经验,为项目高质量交付贡献力量。4.展现扎实的脚本编写能力(SQL/Python),满足项目的数据处理需求。5.优先使用 Trino 工具完成数据迁移和清洗工作,发挥其在相关业务场景中的优势,优化数据处理流程。任职要求1.具备扎实的数据开发实操经验,能够快速投入开发工作,过往工作偏重于实际开发执行,而非管理或架构领域。2.拥有大数据量的数据迁移经验,尤其是具备数据迁移过程中数据质量校验的相关经验,能有效把控数据质量。3.熟练掌握 SQL、Python 编程语言,能够运用其解决数据迁移中的常见技术问题,如调度、查错、性能调优等。4.有丰富的数据开发与实战经历,深度参与过项目全开发流程(采集、清洗、建模等),熟悉各环节工作要点。5.熟悉 Spark SQL,且在数据量级较大的项目中有实际使用经验者优先考虑。6.熟悉华为数据平台(Data Arts)并可以熟练使用。7.了解 Trino 工具,有使用该工具进行数据迁移和清洗经验者优先考虑。