工作内容:数据仓库工程师负责设计、开发和维护数据仓库系统,以支持企业的数据分析和决策需求。通过整合多种数据源,构建高效的数据存储和处理架构,确保数据的准确性、完整性和及时性,为业务分析团队提供高质量的数据支持。主要职责如下:- 基于HIVE+SPARK进行数仓、集市开发,可根据需求分析完成数仓、数据集市、BI报表等开发。- 管理和维护数据仓库,包括备份和恢复、性能优化和故障排除等。- 使用SQL或其他工具对数据进行查询和分析,生成报告和可视化。- 与数据科学家和业务分析师合作,帮助他们获取所需的数据并进行分析。- 跟踪和解决数据仓库的问题,并确保系统的安全和可靠性。- 利用golang或者C++开发一些数据分析辅助工具。职位要求:- 本科及以上学历,计算机相关专业,3年以上大数据开发工作经验,处理数据量TB级及以上。- 熟悉Hadoop生态圈,重点熟悉Hive,Spark,Flink等关键组件,且有开发经理。- 熟练Hive数据库;精通Hsql开发及测试调优,熟悉ETL开发流程,熟悉主流的ETL调度平台- 精通SQL,能够编写高效查询,执行ETL操作,同时了解数据库管理和大数据技术。- 熟悉主流BI开发工具- 熟悉Linux各种基本维护管理命令- 具备golang或者c++开发经验- 具有自学能力和创新能力,能够根据需求解决问题。