TRACE：基于Toulmin论证要素的LLM思维链推理评估

由于缺乏标准答案，评估大语言模型（LLM）的开放式输出仍然困难。现有指标依赖最终答案准确率或表层统计，对推理过程本身不加审视。我们提出TRACE（Toulmin-based Reasoning Assessment through Constructive Elements），一个分析思维链（CoT）推理过程的指标。TRACE不评判结果，而是通过将Toulmin论证理论与Flavell元认知框架相结合来考察论证的构造方式，以评估推理结构。在7个推理模型的26.3K问答样本上的实验显示，该指标与基准准确率强相关（r=0.74）。此外，TRACE作为强化学习奖励信号同样有效，优于仅用准确率的基线。这些结果共同表明，逻辑健全的推理会带来更高质量的答案。因此，TRACE可作为评估开放式输出的补充指标。代码见https://github.com/hyyangkisti/trace。