主要职责：
1.为 Databricks 上的 ML 项目设计、开发和维护可扩展的数据管道。
2.使用 Databricks 的 Delta Lake 和 Spark SQL 实现 ETL 流程。
3.优化数据工作流程，实现高效的 ML 模型训练和部署。
4.与数据科学家合作，为 ML 模型准备和转换数据。
5.利用 Databricks 的 MLflow 进行 ML 实验跟踪和模型管理。
6.实施数据质量检查和监控解决方案。
7.利用 Databricks 的 Unity Catalog 进行数据发现和治理。
8.为 ML 特征存储和自动化特征工程的开发做出贡献。
9.协助将 ML 模型部署到生产环境。
10.指导初级数据工程师并推广***实践。

所需资格：
1.5 年以上数据工程经验，其中至少 2 年专注于 ML 项目。
2.对 Databricks 平台及其组件（Delta Lake、MLflow、Spark SQL）拥有丰富的专业知识。
3.精通 Python 和 SQL；具有 Scala 经验者优先。
4.熟悉 ML 工作流程和数据准备要求。
5.了解数据建模、数据仓库和维度建模概念。
6.具有版本控制系统（例如 GitlaB）和 CI/CD 管道的经验。
7.计算机科学、数据科学或相关领域的学士学位。

优先资格：
1.Databricks 认证（例如，Databricks 认证数据工程师助理）。
2.具有 Databricks 的 AutoML 和 Feature Store 功能经验。
3.了解实时数据流技术（例如 Kafka、Spark Streaming）。
4.熟悉容器化技术（Docker、Kubernetes）。
5.具有图形处理和分析经验。