论文
ThinkProbe：超越准确性——通过非生成思维图对开放式 LLM 推理轨迹进行结构剖析
ThinkProbe: Beyond Accuracy -- Structural Profiling of Open-Ended LLM Reasoning Traces via Non-Generative Thought Graphs
摘要
我们提出了 ThinkProbe，一个用于 LLM 推理轨迹结构分析的框架。 ThinkProbe 将每个轨迹转换为思维图（具有循环、8 种节点类型和 6 种边类型的有向图），并通过结合基于规则的分段和判别性语义链接的完全非生成管道，导出 19 度量五维认知概况（5D-CP：广度、深度、结构、元认知、效率）。 ThinkProbe 应用于 200 个开放式问题和 10 个认知领域的 7 个本机推理模型的 4{,}200 个跟踪，揭示了推理结构是一种稳定的模型级属性：在五个认知维度中的四个维度中，模型间方差超过域间方差高达四倍，结构显示出对问题域的真正敏感性，暴露了基于准确性的评估不可见的定性独特的认知概况。