Agentic不确定性揭示Agentic过度自信

摘要

AI 智能体能预测自己能否在某项任务上成功吗？我们通过在任务执行之前、期间与之后引出成功概率估计来研究 Agentic 不确定性。所有结果都表现出 Agentic 过度自信：一些实际成功率仅 22% 的智能体预测成功率为 77%。与直觉相反，使用严格更少信息的执行前评估往往比标准的执行后复盘取得更好的判别力，尽管差异并不总是显著。将评估重构为寻找缺陷（bug-finding）的对抗性提示取得了最佳校准。

Agentic不确定性揭示Agentic过度自信 — 图5：校准曲线揭示了系统性的过度自信。对角线下方（阴影区域）的点表示过度自信：模型预测的成功概率高于实际达到的水平。在所有模型上，所有方法都落在该区域内。Gemini 表现出最严重的校准偏差：接近 100% 的预测仅产生约 20% 的准确率。对抗性方法（三角形）一致地使曲线向上朝对角线移动，取得最佳校准；而在 GPT 与 Claude 上，执行前方法（圆形）比标准执行后方法（方形）表现出的过度自信更轻。