提示中的分析师：LLM 财务分析中的角色、检索和记忆偏差

大语言模型 (LLM) 越来越多地使用用户上下文（例如内存、个人资料和角色提示）来个性化他们的响应。这种个性化会影响基于证据的判断：相同的证据在不同的用户上下文下可能会得出不同的结论。金融学为研究这个问题提供了一个高风险的环境，因为决策通常取决于对长而复杂的文档的解释。我们使用 12 个 LLM 中的 3,575 份 SEC 文件对此进行了测试。我们比较角色条件检索、中性检索和记忆框架上下文，以将证据选择的效果与解释的效果分开。我们发现大多数用户上下文溢出来自模型如何在不同角色下解释相同的证据，而不是检索不同的证据。然后，我们测试了两种简单的缓解策略：将相同的投资者心态表达为用户档案而不是助理角色，并将基于证据的输出和个性化的输出分开。两者都减少了溢出效应，但都没有完全消除溢出效应，而且它们的有效性在不同模型之间存在很大差异。