岗位职责:1.负责公司大数据基础平台的运维,保障平台的稳定可用;2.负责大数据云平台、混合云部署及运维;3.负责大数据应用产品部署、上线及维护;4.负责大数据平台资源管理、性能优化和故障处理;5.深入研究大数据业务相关运维技术,持续优化集群服务架构;6.参与设计大数据自动化运维、监控、故障处理工具。任职要求1.至少3年以上大数据平台的运维经验;2.掌握Hadoop/YARN、Hive、Spark、Kafka、impala、flume、kylin、hbase等组件的原理/部署/维护/调优,至少非常熟悉其中2-3种组件3.熟悉CDH、HDP发行版或hadoop社区版,有实际部署、维护及优化经验;4.掌握Linux系统环境的配置和优化,熟练部署各种应用服务,独立处理系统故障;5.至少掌握Shell/Python/Java/scala语言的一种;6.强烈的责任心,执行力强,富有团队合作精神;7.对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop集群、ES集群或流平台运维经验者优先;8.精通Hadoop、spark、HIve等相关组件配置优化者优先;9.熟悉虚拟机与虚容器技术,包括openstack、docker、kubernetes等。