论文

大语言模型建议的认知依据:在无法获得真值时刻画信赖基础

Epistemic Warrant for LLM Recommendations: Characterizing the Basis for Reliance When Ground Truth Is Unavailable

模型评测评测方法与指标

摘要

大语言模型越来越多地用于支持组织决策,但用户通常缺乏评估是否依赖特定建议的原则基础。现有方法通常评估广泛的模型属性,例如可靠性、不确定性或鲁棒性,或关注用户信任,而不是依赖个人推荐的潜在基础。我们采用认识论的理论基础,引入了认知依据,这是一种决策层面的构造,它表征了模型偏好的稳定性以及该偏好的范围。我们通过成对推荐的四层信赖证书来操作此构造,区分不稳定的、依赖于上下文的、本地支持的和广泛支持的建议。我们使用现代方法验证了该构造:已知群体测试成功地恢复了专家预先指定的认股权证顺序,并且更强的认股权证系统地与人群工作者的独立共识保持一致。此外,我们证明认知依据提供了与言语信心不同的信息,并且不能轻易地用决策难度来解释。最终,该框架提供了一种有理论依据的、可实施的方法,用于在客观事实不可用时描述个别LLM建议的依据。

大语言模型建议的认知依据:在无法获得真值时刻画信赖基础:论文配图
图 1:上下文转换层之间的概念关系。第 1 层转换保留了与焦点决策大致相同的上下文广度;第 2 层转换评估更窄的子上下文;第 3 层转换评估更广泛的上下文或未嵌套在焦点上下文中的实质性相关上下文。第 0 层未显示,因为它由未更改的焦点提示的重复查询组成,而不是上下文转换。