1.负责数据相关平台的搭建、开发、维护、优化(Hadoop/Spark/Hive/Hbase); 2.根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型的优化; 3.负责数据模型架构的构建,建立数据采集抽取、清洗、校验等数据加工流程规范及OLAP多维数据分析模型; 4.持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。任职资格 1.熟悉数据管理标准、元数据管理、数据质量管理; 2.2年以上基于Hadoop架构DW/BI项目实施和开发经验;熟悉hadoop生态圈,包括但不限于hive、hdfs、hbase、sqoop、spark、scala 等; 3.熟悉Mysql、Gbase等主流数据仓库的技术细节; 4.能熟练进行SQL查询优化、有海量数据处理经验; 熟练使用Unix/Linux操作系统,熟悉常用的Shell/Python/Perl工具; 5.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。