论文

Delta Attention 中的精确记录遗漏:传输标准、成本和重放证书

Exact Record Omission in Delta Attention: A Transport Criterion, Its Cost, and a Replay Certificate

摘要

助手可以停止重复已删除的语句,而其循环记忆仍然带有该语句的影响。我们通过在记录后立即保存状态差异、通过以后的更新传输此收据、并将更正与从省略记录的同一会话构建的状态进行比较来检查这种区别。展开循环给出了一个精确的标准:当且仅当稍后更新创建的附加差异在传输后取消时,传输才会达到这种从未存储的状态。我们将此标准与 40 个前瞻性选择的合成 Kimi 线性上下文的 11 个条件连接起来,其中包含 40 个单独的校准上下文和配对的全记录不确定性估计。注意屏蔽删除了所有 40 个精确的贪婪目标答案,但固定的三查询候选评分攻击达到了 AUC 0.740(95% 区间 0.695--0.809);测得的假阳性率为7.5%。仅提示遗忘仍然返回了 40 个目标中的 33 个。检查点重放与所有 80 个上下文中完整声明的活动状态和审计 logits 相匹配,同时保留评估队列中的所有 120 个保留答案。独立的 Qwen 队列和匹配的原始 bf16/8 位 Kimi 控件证实了其经验算术楼层之上的本机传输不匹配。重放还支持记录替换和顺序删除以及介入许可。这些结果提供了对所请求的内存更改和助手的剩余行为的实际审核,重播工作由幸存的后缀确定。