岗位职责: 1、大数据分析平台架构设计或开发工作,构建亿级数据采集、分布式处理、多类型运维数据的关联分析与展示。 2、引入最新数据分析、挖掘和智能关联技术,参与数据智能分析的战略洞察,制定业务数据分析的演进策略和规划,确保数据处理架构的整体领先性; 3、大数据项目的迭代开发工作,确保版本按规划高质量交付高效可靠的平台代码,支撑知识图谱、智能运维系统产品化成功。 任职要求: 1、 能力要求: ① 硕士及以上学历,计算机、数学、自然语言处理等相关专业。 ② 熟练掌握分布式大数据处理的关键技术,熟悉Hadoop组件技术,有多年Spark/Flink等分部署数据处理开发经验;在时间序列分析、数据挖掘算法、智能关联分析、数据可视化等中有一项或多项专长。 ③ 熟练掌握ELK、Spark Streaming或类同的业界比较成熟的大数据处理开源系统能力,具备日志/调用链等数据分析系统开发经验优先。 ④ 熟悉图数据库,如Nebula Graph、Neo4j等,有相关系统开发设计经验。 ⑤ 具有数据挖掘Hive、数据智能关联分析、知识图谱的设计或开发经验优先。 ⑥ 熟悉大预言模型,如Deepseek、ChatGLM,能对大模型进行调优训练者优先。 2、 经验要求: ① 2年及以上工作经验。 ② 大数据系统开发经验。 ③ 图数据库相关开发经验。