工作内容：
我们的公司正在寻找一位有经验的和大数据ETL工程师，负责构建和维护我们的大数据 ETL 管道。您将负责使用 SQL 和 ETL 工具将数据从各种来源提取、转换和加载到公司的大数据存储系统中，同时确保数据质量和完整性。
主要职责：
* 设计和创建 ETL 流程，包括数据源、目标数据库和 ETL 工具；
* 使用 SQL 和 ETL 工具对数据进行清洗、转换和加载，确保数据质量和完整性；
* 监控和优化 ETL 过程，以提高管道性能和扩展性；
* 与大数据开发团队和数据科学家合作，理解他们的需求，并为他们提供 ETL 支持；
* 编写 ETL 代码，使用 SQL 脚本或脚本工具编写 ETL 任务；
* 对 ETL 过程和结果进行分析和测试，以验证数据质量和完整性；
* 学习并应用最新的大数据 ETL 工具和技术，保持对新技术的热情和好奇心。
职位要求：
* 不限工作经验
* 熟悉 SQL 和 ETL 工具，如 Apache Spark、Apache Hadoop、Informatica、Talend 等；
* 熟悉大数据存储系统，如 Hadoop HDFS、Amazon S3 等；
* 熟悉敏捷开发、持续集成和持续部署（CI/CD）流程；
* 有强烈的责任心，能够对 ETL 过程和结果负责；
* 良好的沟通能力和团队合作精神，能够与不同背景和经验的人合作；
* 熟悉 Docker 和 Kubernetes 等容器化技术，能够使用 Dockerfile 和 KubernetesYAML 配置文件构建 ETL 镜像。