论文
从知到行：LLM智能体自我觉察能力基准
From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents
摘要
外部工具的集成已将 LLM 代理从被动响应者转变为自主系统。然而，当前的基准测试优先考虑执行成功，忽略了自我意识能力，即辨别问题是否需要必要的外部资源或可以通过内部参数知识解决的能力。为了解决这个问题，我们引入了 KAPRO（知识-行动象限 PRObe），这是一个通过将代理的元认知判断（知识）与其自发执行（行动）解耦来评估认知行为一致性的框架。我们进一步构建了 KAware，一个将任务严格划分为外部、内部和混合子空间的数据集，以系统地探索这些认知边界。跨不同代理架构的大量实验表明，自我意识能力与任务成功密切相关，但在内部能力设置中急剧下降。此外，开源和指令跟踪模型由于浅层模式匹配而表现出更强的工具过度使用，而专有和推理导向模型则表现出更可靠的认知门控。基准和代码可在 https://github.com/AI-Santiago/KAware 获取。
