职位描述：
1.负责公司大数据平台的整体架构设计，包括数据存储、计算、调度等核心模块的规划与优化，确保平台的高可用性、高性能和可扩展性；
2.深入研究前沿大数据技术，结合公司业务需求，提出创新性的架构解决方案，推动大数据平台的持续升级；
3.承担复杂数据处理任务的开发工作，包括数据清洗、转换、聚合等ETL流程的优化与实施，提升数据处理效率和质量；
4.基于Hadoop、Flink、Spark等大数据技术栈，运用数据挖掘、机器学习等技术手段，深入挖掘数据价值，为业务决策提供有力支持；
5.主导大数据相关项目的开发工作，负责需求分析、技术选型、开发计划制定与执行，确保项目按时高质量交付；
6.与业务团队紧密合作，深入理解业务需求，将业务需求转化为技术解决方案，推动大数据技术在公司业务中的落地应用；
7.负责Hudi、ClickHouse等数据存储系统的优化与管理，提升数据存储效率和查询性能；
8.优化SQL语句，提升数据查询和处理的性能，确保大数据平台的高效运行。


职位要求：
1.计算机相关专业研究生及以上学历，具备5年以上大数据开发经验，至少主导过2个以上大型大数据项目的开发与实施，熟悉大数据项目的全流程管理，包括需求分析、架构设计、开发、测试与上线运维；
2.精通Hadoop生态系统，包括HDFS、MapReduce、YARN等核心组件的原理与应用，能够熟练进行集群的部署、配置与优化;
3.熟练掌握Flink、Spark框架，具备丰富的流处理和批处理开发经验，能够基于Flink和Spark进行大规模数据处理任务的开发与优化；
4.熟悉Hudi数据湖框架，了解其在数据存储和管理中的优势，能够进行Hudi表的创建、优化和维护；
5.熟练使用ClickHouse数据库，掌握其数据模型设计、查询优化和集群管理能力。熟悉Neo4j图数据库优先；
6.熟练掌握Kettle等ETL工具，能够高效地进行数据抽取、转换和加载任务的开发与优化；
7.精通Java/Scala编程语言，具备良好的编程习惯和代码规范，能够熟练运用面向对象编程思想进行复杂系统的设计与开发；
8.具备出色的分析问题和解决问题的能力，面对复杂的技术难题和业务挑战，能够迅速定位问题根源，并提出有效的解决方案；
9.具备良好的系统性能优化经验，能够从代码层面、系统架构层面和底层硬件层面进行全方位的性能优化，确保大数据平台的高效运行；
10.具有数据研发流程工具使用及实施经验，具有AI项目经验优先；
11.具备较强的学习能力，能快速学习和掌握新知识；有自我驱动的意愿，良好的沟通能力，较强的分析和解决问题的能力；
12.具备良好的职业素养和责任心，具有高度的团队合作精神，积极主动，工作严谨；
13.英语读写熟练，能够作为工作语言，能用口语交流优先。