1、负责大数据分析项目中，大数据存储与计算的实现；
2、负责利用Spark做数据清洗、转换、加载的实现；
3、负责对项目组人员进行技术培训；
4、负责大数据平台数据处理的流程设计和方案设计，及相关文档的编写。
岗位要求：
1.精通Java语言、python语言，基本功扎实；
2.精通Hadoop、Spark、Kafka等大数据开源技术框架，精通Spark、Kafka 、Redis、Hbase、Hive等大数据组件的开发；
3.熟练掌握大数据组件开发技巧与性能调优策略；
4.对海量数据存储、计算或者机器学习有实战经验者优先；
5.熟悉大数据分析的基本方法。