工作职责
1、大模型相关数据获取和处理：深度参与大模型/AI相关业务的开发，负责数据构建，管理和质量提升工作；

2、数据工程算法开发：负责大模型数据工程能力构建，开发高效的数据获取、过滤清洗等基础功能，并根据业务需求结合AI方法提升数据质量。
工作要求
1、本科以上学历，计算机相关专业，3年以上开发经验，熟悉合法合规的数据获取机制和方法，熟悉数据过滤清洗、质量提升等算法和流程，有大数据或大模型相关从业经验者优先；
2、熟练掌握java、scala或python等编程语言，拥有spark/hadoop开发经验，深入理解大规模分布式数据处理流程；
3、精通互联网协议、熟悉正则表达式，熟悉数据挖掘和搜索引擎相关知识技能，具备开发网络爬虫、处理网页信息等工作经验；
4、对新技术保持好奇心，同时具有良好的沟通、学习和分析解决问题能力