论文

清除灰色地带:潜在几何去噪以实现精确的知识边界意识

Purging the Gray Zone: Latent-Geometric Denoising for Precise Knowledge Boundary Awareness

模型训练合成数据

摘要

大语言模型(LLM)由于无法准确感知自己的知识边界而经常表现出幻觉。现有的弃权 微调 方法通常直接根据响应精度来划分数据集,导致模型在决策边界附近遭受严重的标签噪声,从而表现出较高的弃权率或幻觉率。本文采用潜在空间表示的视角,揭示了决策超平面附近的“灰色区域”,其中内部信念模糊性构成了核心性能瓶颈。基于这一见解,我们提出了用于弃权的 **GeoDe**(**Geo**metric **De**noising)框架 微调。该方法使用线性探针构建真实超平面,并通过使用几何距离作为弃权决策的置信度信号来执行“几何去噪”。这种方法可以过滤掉不明确的边界样本,同时保留 微调 的高保真信号。跨多个模型(Llama3、Qwen3)和基准数据集(TriviaQA、NQ、SciQ、SimpleQA)的实验表明,GeoDe 显着增强了模型的真实性,并在分布外 (OOD) 场景中表现出强大的泛化能力。代码可在 https://github.com/Notbesidemoon/GeoDe 获取。