使用检索增强生成和 微调 对聚合物复合材料增材制造进行 大语言模型 的域适应

由于有限的领域基础和对结构化技术知识的接触不足，通用 大语言模型 (LLM) 通常很难在专门的工程领域中生成可靠的响应。本研究调查了将基础 LLM 应用于增材制造 (AM) 领域的实用策略，以提高专家级问答的准确性、相关性和可用性。增材制造知识分布在不同来源，例如学术文献、制造商文档、技术标准和程序指南。尽管通用 LLM 表现出强大的语言能力，但它们经常无法检索此类特定领域的信息并将其置于上下文中。解决此限制的两种常见方法是特定于域的 微调 和检索增强生成 (RAG)。我们构建了一个精选的 AM 语料库，并基于 LLaMA-3-8B 评估了三种配置：(1) 预训练的基线模型，(2) 从向量数据库检索相关文档块的 RAG 系统，以及 (3) 在原始域文本上微调的模型。使用 200 个专家设计的 AM 问题来评估性能，并由机械工程专家评估准确性、相关性和总体偏好。结果表明，RAG 模型始终优于基线。在 200 个问题中，75.5% 的 RAG 回答被认为更准确，85.2% 总体上更受欢迎，90.8% 被认为比基线回答更相关。相比之下，原始 AM 文本上的 微调 会降低性能，仅在 5.6% 的情况下生成更准确的答案，在 32.5% 的情况下生成更相关的答案。这些结果表明，与非结构化技术数据上的简单 微调 相比，检索增强方法为使 LLM 适应专业工程领域提供了更有效的途径。