LLM 世界模型中的信念传播：通过预测市场衡量战略信息偏差

每个信息生态系统都会产生影响战略决策的信念。人类分析师和人工智能系统都继承了其信息源的盲点。我们证明，LLM 与预测市场相结合，可作为校准工具，用于测量生态系统引发的信念与外部参考的偏差程度：LLM 提取文本语料库暗示的信念，并根据已实现结果的分辨率锚定预测市场价格轨迹，提供校准参考来量化偏差。我们通过消融来隔离特定文本的偏见贡献：在保持模型固定的同时改变信息上下文，并使用知道实际结果的受污染模型作为控制。应用到 111 个与乌克兰相关的预测市场（包括四个模型中的约 93,000 个预测）后，我们发现英语新闻语境系统性地偏向领土预测，当其将预测推向领土占领时，错误率高达 64% 至 72%。知道实际结果的受污染模型显示出相同的错误率，表明偏差主要源于文本。补充乌克兰军事分析来源可以减少所有干净模型的偏差，而绝对误差增益是部分的且依赖于模型。我们表明，失真主要源于源，而不是模型。在四种架构中保持一致，它将持续存在于处理它们并传播到下游决策的任何系统中。