岗位职责:
1、负责大数据基础平台管理,包括维护、调优、容量规划等支撑业务和数据量的快速扩张;
2、对大数据基础平台系统稳定性负责,故障应急响应,做好故障发现和预防;
3、持续学习了解大数据领域的新技术,并结合实际需求落地。
4、结合当前业务场景,优化集群性能。
任职要求:
1、本科及以上学历,了解分布式平台运行的原理,并有实际部署维护经验;
2、精通基于Linux系统的常用服务配置,熟悉OS工作原理,掌握常用系统性能诊断工具,对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先;
3、熟悉HDP Hadoop生态常用开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等(主要包括Hadoop/DolphinScheduler/Hive/Sqoop/Spark/Flink等);
4、熟练使用shell及python,并有一定开发经验,有过ETL相关项目开发、大数据运维管理平台或自动化部署系统开发经验者优先;
5、良好的沟通合作能力,热爱技术并善于钻研;能主动思考,有解决疑难问题的毅力和决心