主要职责
数据仓库与数据管道开发：设计、开发和管理 Azure 平台上的数据仓库与数据管道，确保数据在不同系统间的可靠传输。
CI/CD 自动化：基于 DevOps 原则，构建并管理持续集成/持续部署（CI/CD）流水线，自动化数据管道和数据仓库的更新和发布流程。
平台监控与优化：实时监控大数据平台的性能和健康状况，使用 Azure Monitor 等工具跟踪数据管道运行情况，及时处理异常，优化数据流。
资源管理和成本控制：有效管理 Azure 平台资源和 Spark 集群，控制运行成本，确保高性价比的数据处理。
协作与支持：与数据分析团队、业务团队合作，理解业务需求，调整数据管道配置，为数据驱动的决策提供高效、实时的数据支持。
任职要求
教育背景：计算机科学、信息系统、数据科学、工程等相关专业本科及以上学历。
工作经验：3年以上 DevOps、数据管道开发或大数据平台管理经验，有制造业数字化经验者优先。
技术能力：
云平台经验：熟练掌握 Azure 云平台的资源管理、数据存储（如 Azure Data Lake Storage）及数据集成工具（如 Azure Data Factory）。
大数据处理：精通 Spark 和 Databricks，具备大规模数据处理、性能调优经验。
编程语言：熟悉 Python 和 SQL，能够编写脚本完成数据清洗、管道编排和自动化工作。
DevOps 工具：具备 CI/CD 实践经验，熟悉 DevOps 工具和技术（如 Docker、Kubernetes、Jenkins）优先。
平台监控：熟悉数据管道和系统监控工具（如 Azure Monitor、Prometheus），能够实时监控和优化平台性能。
团队协作与沟通：具备良好的沟通能力，能跨部门合作，理解并满足业务需求。
加分项：
具备 Apache Airflow 或其他调度工具经验。
有制造业环境中的数据平台和数据管道经验，了解车间生产、设备传感数据等的处理流程。