论文
证据越薄,先验越厚:身份如何替代财务事实
Thin Evidence, Thick Priors: How Language Models Substitute Identity for Missing Financial Facts
摘要
人们越来越多地询问大语言模型如何使用他们的钱,但很少详细描述他们的财务状况。本文询问模型如何处理间隙。保持财务状况固定并仅改变据称的投资者身份,我们将提示中的财务证据从八个事实分级为“无”,并衡量建议的股权分配变动程度。在 Llama-3.1-8B-Instruct 的 96,600 条提示中,由 100 份财务概况、138 个角色和 7 个披露条件组成,具有相同财务状况的两个角色之间的平均差距从完全披露时的 4.78 个百分点上升到没有财务事实的 10.34 个百分点。对重复提示进行计数的双向集群引导程序一度将比率定为 2.16(95% 区间为 1.69 到 2.79),并且在只剩下一个事实的情况下,涨幅已经是 1.69 倍。身份解释了完全披露时 5% 的个人资料内建议差异和不披露时 96% 的建议差异。家庭规模是唯一一个随着证据的撤回其影响力可靠增长的属性。一旦标准错误聚集在角色(分配身份的单位)上,会议版本中报告的大多数特定于属性的交互就失去了重要性,而性别反而表现为一个小的长期差距,无法完全披露。仅陈述风险偏好就可以将波动范围纳入两到七个一般事实所看到的范围内。在没有任何事实的情况下,该模型的单行原理引用了从未被告知的收入、债务和储蓄,而这些虚构的财务状况往往对大家庭不利。在网络内部,性别在每一层都是线性可解码的,并且在五层消除性别方向会使总体身份波动保持不变。基于此类模型构建的咨询系统应在用户实际达到的披露级别进行审核,并在整个身份空间而不是一次对一个属性进行判断。
