从标记概率到语义约束：走向语言模型的声明性概率评估

虽然大型语言模型已经迅速改进，但仍然存在许多基本问题，即如何评估它们获得的知识和推理能力，以及此类评估与预训练中使用的学习信号有何关系。在本文中，我们提出了 ModelLog，一种用于预训练评估的声明性概率框架，它使模型行为的语义结构变得明确，并为将评估与学习相关联提供了新的形式工具。 ModelLog 将评估目标指定为词元级别预测的符号约束，并衡量模型的分布满足这些约束的程度。我们通过一系列针对否定性、互斥性和一致性的新任务来探索该框架，发现难以仅通过词元可能性或答案准确性来表征的系统性故障。我们进一步表明，这些评估分数也可以解释为损失，其梯度反映了逻辑强度、信息量和变量水平的敏感性。这通过共享语义将评估和学习联系起来，提出了诊断模型行为的评估方法，同时也有助于阐明学习的语义结构。