岗位职责:负责海量数据处理分布式平台以及大数据分析系统的研发;根据业务和产品情况对数据模型进行设计和开发,对数据模型进行优化;应用大数据技术完成离线分析和实时数据分析工作;与业务组共同搭建分析模型,实现商采智能化业务数据分析与管理。任职要求计算机相关专业本科以上学历,最少3年工作经验,2年以上大数据研发经验;有扎实的Java基础,熟悉spring/mybatis/redis/maven,熟悉一种以上数据库并熟练运用SQL;熟悉scala、python等计算机语言尤佳;具备良好的J2EE、SOA、Database、nosql等广泛的知识体系;熟悉主流Web应用服务器,如Tomcat、Nginx、weblogic等;熟悉Linux开发环境,了解常用工具使用,掌握linux常用命令,能使用shell脚本实现相关功能;深刻理解Hadoop大数据平台架构原理,熟悉HDFS/MapReduce,能熟练运用MapReduce程序处理数据;熟悉 Storm / Spark / Kafka 等实时计算技术栈,有过实际项目经验;熟悉hadoop生态圈相关工具 flume/ ELK / azkaban或者Oozie熟悉Hive / Pig / Hbase / ZooKeeper,对Hadoop、Hive源码有研究更佳;有Hadoop集群的搭建、维护和优化经验;热衷大数据分析工作、对业务达成跟进和分析有主动思考意愿,并能跟业务团队长久合作中,能制作出可视化强、可供业务有效落地的系统数据报表工具。