岗位描述:设计、开发和优化基于 Hadoop、Spark、Flink 等框架的大数据处理平台。负责大数据集群的部署、配置、监控和性能调优,数据处理与分析:开发高效的数据处理流程,包括 ETL 流程设计与实现。使用 SQL、Python、Scala 等语言进行数据分析和挖掘。项目实施与支持:参与大数据项目的规划、设计和实施,确保项目按时高质量交付。提供技术支持,解决项目中遇到的技术难题,技术创新与研究:关注大数据技术发展趋势,参与新技术的研究和引入。推动大数据技术在公司内部的应用和创新。设计和开发高可用、高性能的服务端应用。与其他团队协作,确保服务端应用与大数据平台的无缝集成。维护和优化现有服务端应用,确保系统的稳定性和可扩展性。任职要求1. 计算机科学、软件工程、数学或相关专业本科及以上学历。2. 3 年以上大数据开发经验,2 年以上服务端开发经验3. 熟练掌握 Hadoop 生态系统(如 CDH, Hive、HBase、Sqoop, Impala 等),并具备调优能力4. 精通 Java、Python、Scala 中至少一种编程语言5. 熟练使用 Linux 操作系统6. 熟练使用常见的关系型数据库和非关系型数据库,并具备调优能力7. 精通常用的服务端开发框架, 如springboot, flask 等8. 熟悉微服务架构, 容器化技术等;9. 有具体的数仓建设经验, 有大数据平台建设经验;10. 具备良好的沟通能力和团队合作精神,具备较强的解决问题的能力和学习新知识的意愿11. 有医疗项目经验者优先12. 有机器学习、数据挖掘等相关经验者优先