【工作内容】- 负责设计、搭建和维护基于Hadoop的大数据处理平台。- 分析业务需求,制定大数据处理方案,并实施相关项目。- 对现有Hadoop集群进行性能调优,确保数据处理效率和稳定性。- 开发和优化MapReduce作业、Hive查询和其他Hadoop生态系统中的工具。- 协同团队成员,进行数据清洗、转换和加载(ETL)过程,以支持数据分析和报告需求。- 进行日常监控和故障排查,确保系统的稳定运行。- 参与技术研究,探索新的大数据技术和框架,提升团队技术水平。【任职要求】- 计算机科学或相关领域的本科及以上学历。- 至少3年以上Hadoop及相关技术(如Hive、Pig、Spark等)的使用经验。- 熟悉Linux操作系统,具备Shell脚本编写能力。- 具备良好的Java编程技能,熟悉Hadoop生态系统中的开发工具。- 了解分布式系统原理,具有Hadoop集群部署和管理经验。- 良好的问题解决能力和学习能力,能够快速适应新技术。- 具备优秀的沟通技巧和团队合作精神。