工作职责:1.数据同步与ETL开发: 负责设计、开发、测试和维护数据同步、抽取、转换和加载(ETL)流程,确保数据高效、准确、稳定地从源系统流向目标系统。2.数据同步通道部署与运维: 负责使用OGG、DSG等数据同步工具进行通道的部署、配置、监控、调优和故障处理,保障数据同步通道的稳定运行。3.日常数据开发与运维: 使用Python、Java等编程语言进行日常数据开发任务(如脚本编写、自动化任务开发)和数据运维工作(如数据质量检查、任务监控、问题排查)。4.数据库开发与操作: 熟练编写和优化SQL脚本,基于Greenplum、Oracle、MySQL、PostgreSQL等主流数据库进行数据查询、分析、转换和存储过程开发等。5.数据运维程序开发:根据业务需求,开发数据清洗、转换、入库等相关的运维程序和工具,提升数据处理效率和自动化水平。6.数据质量保障:参与数据清洗规则的制定与实施,确保入库数据的准确性、完整性和一致性。任职资格:1.工作经验: - 3年以上数据开发相关工作经验。 - 具备以下经验优先: 1)有使用 OGG (Oracle GoldenGate) 或 DSG 等数据同步工具的实际部署、配置或运维经验。 2)了解ETL工具(如 Informatica, DataStage, Kettle 等)或调度工具(如 Airflow, DolphinScheduler 等)。2.技术能力: - 熟练掌握 Python 和 Shell 脚本编程,能够独立完成开发任务。 - 精通 SQL 语言,具备复杂查询、性能调优、存储过程编写等能力。 - 熟练使用至少两种主流数据库(Greenplum, Oracle, MySQL, PostgreSQL)进行开发、管理和优化,理解其核心架构与特性。 - 了解至少一种国产或新兴数据库(如 OceanBase, TiDB, 人大金仓(KingbaseES))的基本原理和使用方式。 - 熟悉 Linux 操作系统(如 CentOS, RedHat, Ubuntu 等),掌握常用命令、系统管理、环境配置和脚本执行。 - 加分项 (非必需,但优先考虑): 1)具备一定的 Java 开发能力。 2)熟悉数据仓库建模理论(如维度建模)。 3)有大数据生态组件(如 Hive, Spark, HDFS 等)的使用经验。 4)了解容器化技术(Docker, Kubernetes)。3.其他要求: - 具备良好的学习能力、分析问题和解决问题的能力。 - 工作认真负责,有较强的责任心和团队协作精神,能承受一定的工作压力。 - 具备良好的沟通能力,能够清晰表达技术方案和问题。