论文
智能体策略价值审计:分离金融 LLM 智能体的状态转移与事件选择
Agent Policy-Value Audit: Separating Transition Composition from Event Selection in Financial LLM Agents
摘要
金融 LLM 智能体的评估通常是通过将 端到端 回报与基线回报进行比较并测试配对差异与零的关系。这衡量部署智能体是否会改变实现的性能,但它并不能隔离事件选择技能。频繁从持平变为多头的智能体可以从向上漂移的事件池中获得正的成对回报,即使它随机选择事件也是如此。我们提出智能体策略值审计,它固定每个有序操作更改类型的观察计数,并在符合条件的事件中随机重新分配它们。这些重新分配的平均回报是构成基准;观察到的部署值与此基准之间的差异是选择值。在基于实际收益事件回报的半综合基准中,零中心配对测试错误地将被动暴露归因于无技能复制的 $11.6\%$ 中的选择技能,而转换匹配审计将此比率降低到 $5.3\%$。审计回顾性地应用于 44 家美国面向消费者的公司的 723 起盈利事件,将智能体的 $+15.2$ bps/事件的总部署值分解为 $+25.8$ 组合基准和 $-10.6$ 选择值。 智能体的性能并未明显优于匹配的随机分配。 Financial-智能体评估应将部署值与事件选择值分开报告。