岗位职责:1、负责Hadoop集群的日常管理、监控和维护,确保系统的正常运行;负责的日常监控,确保系统的高可用性和稳定性。2、监控集群的CPU、内存、磁盘和网络利用率,及时进行性能调优。3、处理Hadoop集群、Doris集群的故障,进行故障排查和恢复;编写和维护故障处理文档和应急预案。4、负责HDFS文件系统、Doris系统的管理,包括数据备份、恢复及数据清理;确保数据的安全性和一致性。5、针对作业执行性能进行分析和优化,提升集群的处理能力。6、配置和优化MapReduce、Spark等作业的执行参数。7、为开发团队提供技术支持,解决在使用Doris过程中遇到的问题。8、负责Hadoop、Doris系统版本的升级与管理,确保使用最新的稳定版本。9、参与Hadoop生态系统工具(如Hive、Pig、HBase等)的运维。10、编写和更新运维相关的文档,包括运维手册、系统架构文档等。岗位要求:1、计算机、信息技术或相关专业,本科及以上学历,4年以上大数据项目运维经验。2、熟悉Hadoop生态系统,具备2年以上Hadoop集群(不低于100hadoop集群)运维经验,1年以上Doris或其他数据库运维经验。3、熟悉Linux操作系统,掌握Shell脚本编写。4、熟悉Hadoop的核心组件(如HDFS、YARN、MapReduce)及其工作原理;熟悉Doris数据库的架构和操作。5、能够独立排查和解决Hadoop、Doris集群故障,有良好的问题解决能力。