通过多标记预测和潜在语义增强实现一致的世界模型

大语言模型（LLM）是否开发出连贯的内部世界模型仍然是一个核心争论。虽然传统的下一词元预测（NTP）侧重于一步领先的监督，但多词元预测（MTP）在学习更结构化的表示方面表现出了希望。在这项工作中，我们提供了一个理论视角来分析 MTP 的梯度归纳偏差，并得到经验证据的支持，表明 MTP 通过梯度耦合诱导表征收缩性来促进向内部信念状态的收敛。然而，我们发现标准 MTP 经常遭受结构性幻觉的困扰，其中离散的词元监督鼓励违反环境约束的潜在空间中的非法捷径。为了解决这个问题，我们提出了一种新方法潜在语义增强 MTP (LSE-MTP)，它将预测锚定到 真值 隐藏状态轨迹。对合成图和现实世界曼哈顿出租车之旅的实验表明，LSE-MTP 有效地弥合了离散标记和连续状态表示之间的差距，增强了表示对齐，减少了结构幻觉，并提高了对扰动的鲁棒性。