工作职责:1. 负责数据管理平台的架构设计,根据业务需求和技术规划,制定合理的架构方案,确保系统的高性能、高可用性、可扩展性和稳定性,能够满足大规模数据处理和存储的需求;2. 负责大数据量系统的运维工作,包括系统监控、性能优化、故障排查和问题解决,确保系统的稳定运行和数据的准确性和完整性;能够及时发现和解决系统性能瓶颈,通过调优工作提升系统的性能和效率,如对 Flink 作业的并行度、缓冲区大小等参数进行优化,对 Kafka 的分区数、副本数等进行合理配置,对 Doris 的存储和查询性能进行优化等; 3. 参与核心模块的功能开发,运用 Flink、Kafka、Doris、DolphinScheduler、Seatunnel、Neo4j、Minio 等技术,实现数据采集、存储、计算、分析和展示等功能,确保系统的整体功能实现和业务目标达成;4. 与后端开发团队、数据分析师、产品经理等紧密合作,参与需求分析、技术选型、方案设计和项目实施等环节,确保项目的顺利推进和交付;5. 关注大数据技术的发展趋势和行业动态,持续学习和研究新的技术和工具,不断提升团队的技术水平和创新能力,为公司的数据管理平台建设和业务发展提供技术支持和建议。任职资格:1.本科及以上学历,计算机相关专业;2.熟练掌握 Java 编程语言,具备良好的编程基础和代码规范;熟悉大数据处理框架,如 Flink、Kafka、Doris、DolphinScheduler、Seatunnel、Neo4j、Minio ,能够进行相关系统的开发、调优和维护。 3. 了解分布式系统原理,能够进行分布式应用的开发和调试。 4. 熟悉数据库原理和常用数据库(如 MySQL、Doris、HDFS 等),能够进行数据的存储、查询和管理操作。 5. 熟悉 Linux 操作系统,掌握常用的 Linux 命令和工具,能够进行系统的部署、运维和故障排查工作。 6. 具备良好的团队合作精神和沟通能力,能够与不同角色的人员进行有效的沟通和协作。