ReplayLens：审计Agent对结果的使用

当Agent重复使用记录的经验时，更改的决策可能会反映记录的分数、操作的名称或记录在存储中的位置。标准记忆评估并不能揭示哪种关系驱动了这种变化。我们引入了 ReplayLens，这是一种黑盒审计，它一次更改存储的历史记录中的一个关系，保持其余接口固定，并衡量最终的决策。四种干预措施针对四种关系。结果重新分配会交换哪些分数属于哪些操作。对传输将完整的动作分数对移动到新的记录位置。一致的重命名会在历史记录和菜单中重新标记操作。键槽重新分配会改变乐谱附件和位置。建设性的分离说明了为什么需要审计：具有相同端点精度的两个内存写入器对相同重放的响应不同，因此传统评估无法解决潜在的依赖性。在黑盒 LLM 界面上，交换分数会改变决策，而移动完整的分数不会改变决策，从而将分数附件与记录顺序分开。有限内存研究揭示了端点比较遗漏的摄取顺序敏感性。在顺序实验计划中，尽管进行了新的测量，但改变的历史分数会改变探索方向并降低最终效用。具有密封隐藏测试的代码调试Agent在模型选择之外显示出相同的模式。 ReplayLens 提供关系级审核，用于决定是否可以安全地合并、重新排序或重新索引记录的体验。