1.全日制本科及以上,岗位对口专业或同等水平5年及以上从业经验2.熟练掌握至少一种编程语言,如 Java、Python等,具备扎实的编程基础。3.深入了解 Hadoop 生态系统,包括 HDFS、MapReduce、YARN、Hive、HBase 等组件的原理和使用方法。4.熟悉Spark、Flink 等分布式计算框架,能够进行大数据处理和分析任务的开发和优化。5.掌握数据仓库设计和开发的方法和技术,熟悉维度建模、星型模型、雪花模型等数据模型。6.具备SQL编程能力,能够熟练使用 MySQL、PostgreSQL 等关系型数据库。7.了解Linux操作系统,熟悉常用的Linux命令和脚本编写。1.负责Spark、Flink、Hive、HBase、Kafka等大数据技术组件调优和故障排除。2.管理和维护大数据存储系统,包括数据的备份、恢复和归档,保证数据的安全性和可靠性。3.负责基于Flink等技术的实时数据流的处理和分析及运维。对实时数据处理系统进行性能优化,提高系统的吞吐量和响应速度。4.参与数据仓库的规划、设计和建设,根据业务需求构建数据模型,确保数据的一致性和准确性。并对数据仓库进行性能调优,提高数据查询和分析的效率,满足业务对数据的实时性和准确性要求。