通过模型编辑减轻 大语言模型 中的包幻觉

大语言模型（LLM）在软件工程任务中展现了强大的能力，例如代码生成、库推荐和依赖配置。然而，最近的研究表明，LLM 可能会遭受包幻觉，它们会生成不存在或无效的包名称。这些幻觉可以在软件供应链攻击中被利用，因为攻击者可能会用幻觉的名称注册恶意软件包。因此，减轻包幻觉对于提高LLM辅助软件开发的可靠性和安全性具有重要意义。在本文中，我们介绍了 BOUND，一个轻量级的本地化模型编辑框架，用于减轻 LLM 中的包幻觉。 BOUND 将包幻觉缓解表述为包有效性边界编辑问题，其中边界是指模型在给定任务上下文下区分有效包和幻觉包名称的能力。它首先通过风险感知本地化策略定位与包幻觉相关的模块，然后使用轻量级 LoRA 适配器使用边界感知目标编辑这些模块，以增强有效包、抑制幻觉包并保留局部行为。实验结果表明，BOUND 有效减少了套餐幻觉，同时保留了有效的套餐推荐。在包推荐任务中，BOUND 将编辑提示上的包级幻觉率 (Package-HR) 降低了 79.9%，将未见过的提示降低了 65.4%。学习到的包有效性边界进一步推广到其他与包相关的任务，将代码生成中的 Package-HR 减少了 12.8%，将 pip install 建议减少了 34.0%。这些结果表明，BOUND 细化了 LLM 的包有效性边界，并提高了包相关输出的可靠性。