自我知识重新表达：一种使用内在知识使 LLM 适应任务的完全局部方法

虽然下一个词元预测 (NTP) 范式使 大语言模型 (LLM) 能够表达其内在知识，但其顺序性质限制了专门的非生成任务的性能。我们将此性能瓶颈归因于LLM的知识表达机制，而不是知识获取的缺陷。为了解决这个问题，我们提出了自我知识重新表达（SKR），这是一种新颖的、与任务无关的适应方法。 SKR 将 LLM 的输出从通用词元生成转换为高效、特定于任务的表达。 SKR 是一种完全本地的方法，仅使用未注释的数据，既不需要人工监督，也不需要模型 蒸馏。在大型金融文档数据集上进行的实验表明了显着的改进：信息检索任务的 Recall@1 提高了 40% 以上，对象检测延迟降低了 76% 以上，异常检测 AUPRC 提高了 33% 以上。我们在 MMDocRAG 数据集上的结果比领先的检索模型至少高出 12.6%。