评估域适应 大语言模型 中的幻觉

本研究调查了域适应 大语言模型 (LLM) 中的幻觉现象，重点关注 Lamini 数据集的 Llama-2 模型的 微调。幻觉，或者 LLM 生成无意义或不忠实的内容，构成了重大挑战，特别是当这些模型使用特定领域的数据进行微调时。我们的方法涉及一系列实验，测试经过微调的 LLM 的记忆、回忆和推理能力，比较其在新颖的问答对和特定领域信息上的性能。我们发现，虽然该模型显示出对与其训练数据类似的任务的熟练程度，但其准确推理和回忆新的特定领域信息的能力仍然有限，从而导致出现幻觉。该模型表现出提供带有额外信息的正确答案的倾向，表明存在过度生成的倾向。这些结果表明，当将 LLM 应用于专门领域时，仅使用 微调 减轻幻觉的方法存在重要局限性，并强调需要更强大的方法来将 LLM 应用于专门领域。该研究还深入了解了 LLM 在不同类型信息上的不同性能，揭示了处理特定领域查询的相对弱点。