职位描述:1、模型设计:深入了解业务需求和目标,明确数据建模的方向和重点,将概念模型转化为物理模型,设计数据库表结构、索引、 存储过程等,优化数据库性能,提高数据访问效率。2、数据采集:依据业务需求与数据来源特性,制定涵盖采集目标、数据源、频率及方式等要素的方案,对接各类数据源,运用工具或脚本开发自动化采集任务并进行调度监控,同时建立数据质量监控机制以确保采集数据的完整性与准确性。3、数据清洗与加工:分析原始数据特点并结合业务需求制定清洗规则,运用工具和技术实施清洗操作以处理噪声、重复等问题,再根据分析和应用需求对清洗后的数据进行聚合、计算等加工处理及特征工程处理,并通过抽样、对比等方法验证数据是否符合业务规则和质量标准。4、数据分析:深入了解业务问题与分析需求,运用 SQL 等工具探索数据潜在规律趋势并借助可视化工具直观展示,同时运用统计学方法与分析模型深入挖掘数据内在关系,依据结果撰写逻辑严谨的数据准确的分析报告,且与业务部门有效沟通结果并依反馈优化,为业务决策提供针对性支持。5、 BI 平台报表开发:梳理业务部门报表需求,明确指标定义等关键要素,基于 BI 平台进行报表设计与开发,实现交互性等特性,同时整合关联多数据源数据,完成报表测试优化,并根据业务变化定期维护更新,以满足业务实际工作需求并提升用户体验。职位要求:1、至少3年以上数据中台或数据仓库开发经验2、熟悉数据仓库原理,能够熟练使用维度建模方法论,建设事实表、维度表模型。3、熟练掌握一个关系型数据的开发,如:PostgreSQL/Mysql/Oracle/Doris4、具备复杂场景SQL实现能力,掌握开窗函数并能够熟练地在各个场景中使用,具备SQL优化能力。5、熟悉Python/Java/Pyspark其中一种开发语言,进行日常工作处理6、具备flinksql开发能力,实现实时数据的抽取与报表展示;7、具备面向业务的OLAP,即席查询,BI分析,报表工具应用经验;8、熟悉一种ETL抽取及调度工具(kettle、datax、airflow等);9、具备两个以上完整数据中台项目经验;10、熟悉Hadoop生态圈,熟悉MapReduce过程,了解数据倾斜原理及优化方法。