论文

SCIT:在潜在思想链模型中测试因果缓存载体

SCIT: Testing Causal Cache Carriers in Latent Chain-of-Thought Models

模型评测评测方法与指标

摘要

潜在的思想链模型将中间推理从发出的文本转移到连续状态,提高了紧凑性,但隐藏了因果对象。我们介绍 SCIT(后缀缓存交换测试),这是一种因果协议,可构造精确的源-接收者反事实、修补声明的缓存段,并识别哪个 Transformer 对象携带反事实计算。 SCIT 将充分性测试与 K/V 组件分割、隐藏状态控制、语义源控制、解码验证和匹配损坏相结合。在 CODI-GPT2 和 Sim-CoT 风格的 GPT-2 复制上,反事实算术主要通过值缓存后缀轨迹而不是隐藏状态、密钥、可重用答案槽或单词元触发器进行传输。后值后缀机制的完整充分性和必要性证据适用于主要 CODI-GPT2 检查点; Sim-CoT 式检查点显示了相同的充分性和解码控制模式,但没有足够的匹配损坏证据来进行必要性调用。除了这些本地算术单元之外,SCIT 还揭示了载体机制的转变:类似算术的 GPT-2/1B 单元保留了潜在尾值/KV 传输,而有能力的 8B 和修复的非算术单元则通过提示前缀或全缓存 K/V 进行路由;边界单元不接收任何机制调用。因此,SCIT 提供了缓存级诊断、检查点特定的 GPT-2 算术机制和能力门控载体图,而不是通用的潜在尾声明。