LLM能否把握经济脉搏？ LLM 宏观经济指标即时预测的实时评估

临近预测总体宏观经济指标，即在正式发布之前估计当前参考期的指标值，对于货币政策和金融市场至关重要，央行专门聘请了专家经济学家团队来进行此类估计。 大语言模型 (LLM) 代理是这项任务的有希望的候选者，它将广泛的世界知识与实时网络搜索相结合，并支持比机构即时广播更高频率的查询。然而，评估其临近预报能力具有挑战性：GDP 和 CPI 等标题指标被广泛报告，并且可能在预训练期间被记住，因此对历史发布的任何评估都容易受到数据污染。为了解决这个问题，我们引入了 LiveMacroEval，这是一个实时的、抗污染的基准，LLM 代理在每次正式发布时关闭的预发布窗口中每小时生成 16 个美国主要宏观经济指标的即时预测。即时预测的质量是通过针对公告窗口股票回报的 LiveMacro 分数和来自模拟 Polymarket 式交易的 LiveBetting 分数进行评估，并以美联储区域银行即时预测、彭博 ECOS 专业共识和自动 ARIMA 基线作为比较器。在六个月多的时间里，四个最先进的 LLM 代理配置了网络搜索，总体即时预报准确度与机构和专业基准大致相当，但各个指标的表现差异很大。这凸显了 LLM 代理作为宏观经济状况实时估计器的潜力。