岗位职责1.参与大数据平台数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台; 2.数据仓库模型的ETL实施,ETL性能优化、技术攻关等;3.参与全链路数据开发,包括日志埋点、数据采集、数据同步、数据清洗与标准化、数据模型设计、离线数据和实时数据开发和数据治理等工作; 4.负责业务条线按主题模块的数据仓库基础平台的建设和维护;5.学习新技术,提高整个平台的计算能力和效率。 任职要求1.全日制大学本科学历,计算机相关专业毕业,5年以上工作经验; 2.精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣; 3.熟悉大数据相关技术组件,例如 Hadoop/Hive/Spark/HBase/Kafka/Flume/ OLAP引擎等;具备较强的编码能力,熟练掌握java,scala或python等至少其中一门语言; 4.积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型;熟练掌握SQL/HQL/Spark SQL开发及优化技能,快速ETL实施能力,对SLA有较深刻的认识及强烈的责任心。熟悉Azkaban等任务调度工具; 5.具有 2年以上大数据OLAP相关工作经验,熟悉 clickhouse、Vertica等MPP数据库; 6.熟悉主流云平台(阿里云、华为云、腾讯云等)中的大数据服务组件,并有实际应用经验者优先。