岗位职责:1、承接业务团队离线计算、实时计算需求,对外提供稳定、高效的数据服务;2、负责核心数据维护和监控;3、负责海量数据实时处理的工具系统的开发建设;4、针对具体的业务场景问题,快速设计和实现解决方案;5、负责工程架构相关新技术方向研究、开发和应用;6、参与全链路数据开发,包括日志埋点、数据采集、数据同步、数据清洗与标准化、数据模型设计、离线数据和实时数据开发、数据服务化、可视化和数据治理等工作。任职要求:1.计算机相关专业,本科及以上学历,3年以上相关工作经验,具有数据仓库、ETL工作,大数据开发经验; 2.有使用java/python等语言开发过mapreduce、spark、flink等离线、实时应用; 3.能熟练使用hive sql,java等进行复杂数据处理;4.熟悉大数据常见离线、实时技术架构及相应组件原理; 5.有hive、spark,flink调优经验优先;6.能准确理解业务需求,并能快速构思出实现方案及良好的代码开发能力;7.良好的沟通能力,有团队合作精神和责任感; 8.有平台产品的研发经验优先(包括采集平台,调度平台,运维监控平台等).【注:基于大数据平台开发经验,能接受7*24小时运维工作。】