带评分的概念性论证数据集

大语言模型在数学、编程等答案可验证的任务上进步迅速。而对于它们在所谓概念性问题上的推理能力，我们所知甚少：这类问题在现实中无法获得真值（ground truth），也不存在被广泛接受的解决方法论，但通过辩论论证仍可取得进展。大多数哲学问题属于此类，AI安全、决策理论与社会选择中问题的核心部分也是如此。我们的方法基于这样一种观点：虽然这类问题的最终结论难以评估，但单个语境化的论证可以得到可靠得多的评估。因此，我们引入一个数据集：针对442篇立场文本的951条论证性批评，主题从AI安全、决策理论到伦理与政治，由六位专家评分者沿中心性、强度、正确性与清晰度等维度给出1,458条评分。我们提出两种评分函数，并对一系列模型进行基准测试。模型表现与通用能力排名一致。