GRASP：交互图中的确定性参数排名

大语言模型 越来越多地被部署为自动法官来评估论点的强度。随着这一角色的扩大，它们的合法性取决于一致性、透明度以及将论证结构与修辞吸引力分开的能力。然而，我们表明，整体判断（一种常见的 LLM 作为法官的做法，其中模型对辩论提供全局判决）会遭受模型间的重大分歧。我们认为，这种不稳定性是由于将辩论的复杂互动结构分解为单个不透明的分数而产生的。为了解决这个问题，我们提出了 GRASP（攻击和支持传播的渐进排名），这是一种确定性框架，通过收敛的攻击-防御传播算子将稳定的局部交互判断聚合到全局排名中。我们表明，在 LLM-as-a-Judge 评估中，本地交互判断比整体排名更具可重复性，从而使 GRASP 能够产生更一致的全球排名。我们进一步表明，GRASP 分数与人类的“说服力”标签无关，突出了一个重要的社会技术区别：GRASP 不衡量说服力、事实性或修辞吸引力，而是衡量结构充分性——一种在显式交互图上论证稳健性的防御意识概念。总体而言，GRASP 为整体 LLM 评审提供了透明且可审核的替代方案。