论文
大语言模型建议的认知依据:在无法获得真值时刻画信赖基础
Epistemic Warrant for LLM Recommendations: Characterizing the Basis for Reliance When Ground Truth Is Unavailable
摘要
大语言模型越来越多地用于支持组织决策,但用户通常缺乏评估是否依赖特定建议的原则基础。现有方法通常评估广泛的模型属性,例如可靠性、不确定性或鲁棒性,或关注用户信任,而不是依赖个人推荐的潜在基础。我们采用认识论的理论基础,引入了认知依据,这是一种决策层面的构造,它表征了模型偏好的稳定性以及该偏好的范围。我们通过成对推荐的四层信赖证书来操作此构造,区分不稳定的、依赖于上下文的、本地支持的和广泛支持的建议。我们使用现代方法验证了该构造:已知群体测试成功地恢复了专家预先指定的认股权证顺序,并且更强的认股权证系统地与人群工作者的独立共识保持一致。此外,我们证明认知依据提供了与言语信心不同的信息,并且不能轻易地用决策难度来解释。最终,该框架提供了一种有理论依据的、可实施的方法,用于在客观事实不可用时描述个别LLM建议的依据。
