用于减轻 ALLM 幻觉的噪声感知情境学习

听觉 大语言模型 (ALLM) 在音频理解和推理任务中表现出了强大的通用能力。然而，它们的可靠性仍然受到幻觉问题的影响。现有的幻觉评估方法被制定为二元分类任务，不足以表征生成任务中出现的更复杂的幻觉模式。此外，当前的幻觉缓解策略依赖于微调，导致计算成本很高。为了解决上述限制，我们提出了一种即插即用的噪声感知上下文学习（NAICL）方法。具体来说，我们构建了一个噪声先验库，检索与输入音频相关的噪声示例，并将它们合并为上下文先验，从而指导模型在声学证据不足时减少推测关联并采用更保守的生成策略。此外，我们建立了音频描述任务的幻听基准，包括构建 Clotho-1K 多事件基准数据集、四种幻听类型的定义以及引入幻听类型分布等指标以支持细粒度分析。实验结果表明，所有评估的 ALLM 都表现出相同的幻觉行为。此外，所提出的 NAICL 方法将总体幻觉率从 26.53% 降低到 16.98%。