工作职责：
1、参与整个系统开发生命周期（SDLC），以确保项目成功交付。
2、进行需求研究、分析、设计、文档编制，并与用户、技术团队和运营团队进行协调。
3、分析和整理来自各种数据源的原始数据。
4、深入了解相关的数据工程***实践。
5、使用第三范式（3NF）和维度建模技术为数据仓库和数据集市设计数据模型。
6、设计和构建数据 API 和数据虚拟化，以供用户和使用中的应用程序访问数据。
7、设计、构建和维护 ETL 批处理和流数据管道。
8、设计和构建数据平台（数据仓库、数据集市、数据湖）。
9、支持用户验收测试和系统实施，准备系统和操作文档，提供持续的用户和应用程序支持。

职位要求：
1、拥有计算机科学、信息技术或相关学科的学位。
2、至少有 4 年作为数据工程师的经验，在构建批处理 ETL 和实时流数据管道、构建数据仓库、数据湖和分析平台方面有丰富经验。
3、在数据仓库和数据应用的业务支持方面知识渊博且经验丰富。
4、熟练掌握编程语言：SQL、Python、PySpark、Java、JavaScript。
5、有数据库方面的经验：Oracle - PL/SQL、Teradata 或类似数据库。
6、有 OpenShift 方面的经验 - Restful API、Apache Spark、Hadoop、Perl、Java、SAS。
7、有在 AWS 云数据平台上的工作经验：S3、Redshift、EMR、Glue、MWAA、Lambda、DMS、Transfer Family、DevOps。
8、有 ETL 工具 Informatica 的经验者优先。
9、具备有效的英语和中文（粤语）口头和书面沟通能力。
10、良好的分析、人际交往和问题解决能力。
11、良好的团队合作精神、积极的态度、创新能力、自我主动性强、渴望学习并与其他团队成员分享、勤奋努力、能够在压力下工作并独立工作。
12、资格和经验较少的候选人将被考虑为数据工程师开发人员。