[岗位职责]
1.负责从多种数据源（数据库、API、日志、爬虫等）采集数据，并进行清洗、转换和加载（ETL）。
2. 使用工具如Apache Kafka、Flume、Logstash等进行实时或批量数据处理。
3. 优化数据存储和查询性能。
4. 基于Hadoop、Spark、Flink等分布式计算框架开发数据处理流程。
5. 优化ETL作业，提升数据处理效率，确保系统高可用性。
6. 为部门提供数据支持，开发数据指标、报表及可视化看板（如Tableau、Power BI），参与数据挖掘，支持业务决策。
7. 监控数据质量，排查异常数据，建立和优化数据治理流程。
[岗位要求]
1. 计算机、大数据、轨道交通等理工科相关专业硕士及以上学历。
2. 熟练掌握SQL，熟悉关系型数据库（MySQL、Oracle）及NoSQL（HBase、MongoDB。
3. 精通至少一种编程语言（Python、Java、Scala）。
4. 熟悉大数据生态（Hadoop、Spark、Hive、Kafka、Flink等）。
5. 有ETL开发经验，熟悉Kettle、Informatica等工具者优先。
6. 掌握基本数据挖掘、机器学习、深度学习算法。
7. 2年以上大数据开发或数据工程相关经验，有轨道交通行业经验者优先。
8. 良好的逻辑分析能力、问题排查能力，团队协作精神，能适应高强度工作。