岗位职责：
负责异构数据处理与分析：
?设计并实施复杂多源异构数据源的接入策略，包括但不限于结构化、半结构化和非结构化数据；
?利用多种数据解析工具和技术，实现各类数据格式（如pdf、XML、JSON、CSV、数据库表结构等）的有效转换和加载。
数据整合与标准化：
?开发和优化数据清洗、转换流程，确保数据质量和一致性；
?参与制定企业级数据模型和数据治理体系，执行数据标准化作业。
数据平台研究与应用：
?对大数据计算平台（如Hadoop、Spark、GCP？BigQuery、AWS？EMR等）上的数据处理方式进行深入研究与分析，开发高性能的数据解析模型和组件。

任职要求：
教育背景与专业技能：
本科及以上学历，计算机科学、数学，统计、信息科学等理工科相关专业优先考虑；
?至少2年以上（高级工程师需5年以上）相关工作经验，熟悉大数据处理框架如Hadoop、Spark等；
?编程能力扎实，熟悉主流数据处理及服务框架与微服务架构，具有扎实的数据结构、算法、操作系统等计算机基本知识；熟练掌握至少2种编程语言，如Java、Python、Scala等，有SQL查询优化经验。
数据解析与ETL能力：
?具备扎实的数据结构和算法基础，熟悉常见的数据解析工具和技术；
?有实际的大规模数据抽取、转换和加载（ETL）项目经验。
云平台与技术栈：
?熟悉主流云平台提供的大数据服务，如阿里云MaxCompute、AWS？Redshift、Azure？Data？Factory等；
?掌握NoSQL数据库（MongoDB、Cassandra等）和数据仓库原理。
项目管理与沟通能力：
?具备良好的项目管理能力和执行力，能够在多任务环境中独立工作；
?出色的沟通技巧，能够清晰、准确地向非技术人员解释复杂的概念和技术问题。
加分项：
?拥有数据挖掘相关背景，能运用数据解析技术解决复杂业务问题；
?对数据治理、数据安全和合规性有一定理解，熟悉相关法律法规和行业标准。