论文
是什么让代理内存对于可靠的无法回答的问题处理很有用?
What Makes Agent Memory Useful for Reliable Unanswerable Question Handling?
摘要
可靠地处理无法回答的问题 (UAQ) 对于基于 LLM 的值得信赖的代理至关重要。尽管内存在代理系统中广泛使用,但其在可靠的 UAQ 处理中的作用仍不清楚。我们对统一代理 RAG 框架下用于 UAQ 处理的代理内存进行了系统研究,评估了三个 UAQ 相关数据集和两个基本模型的四种代表性内存方法。我们发现,在某些情况下,内存可以提高 UAQ 性能,但这种收益是选择性的,而不是普遍的,并且在数据集转移的情况下仍然很脆弱。有趣的是,跨模型内存重用通常比跨数据集传输更可行,这表明责任模式的变化对内存重用造成的挑战比基础模型本身的变化更大。我们进一步发现,通过决策指导比通过轨迹塑造更能保留 UAQ 增益,并且记忆有效性在很大程度上取决于表征。特别是,程序和基于规则的记忆通常为 UAQ 处理提供最可靠的支持,而当程序指导与补充行为信号相结合时,记忆组合是最有效的。总体而言,我们的研究结果表明,可靠的 UAQ 记忆较少依赖于存储大量经验,而更多地依赖于保留可转移的行为指导。