LatentPort:超越 KV 缓存 - 混合语言模型中循环内存的跨模型传输:无目标前缀重放的 4B 到 9B 混合状态切换
LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
摘要
一种语言模型能否将其实时记忆传递给另一种语言模型,而无需接收者重新读取上下文?我们展示了跨架构匹配的 Qwen3.5 4B 到 9B 兄弟对的有用的持久混合状态传输。据我们所知,这是首次在不同大小的混合语言模型之间演示持久循环推理状态的跨模型切换,而无需目标前缀重放。仅翻译后的注意力 KV 就留下了很大的差距;添加门控 DeltaNet (GDN) 持久状态包可将教师强制的负对数似然 (NLL)(平均下一个词元对数损失)降低 0.747 nats/token(95% 配对文档引导 CI [0.6921, 0.8047]),从而改进所有 64 个 PG19 文档。直接循环和卷积重用优于经过测试的学习 GDN 映射,与持久状态坐标的部分功能兼容性一致。一个新的分量阶乘选择具有直接循环和卷积状态的转换 KV。额外的 434,176 个参数校正基于 64 个新 Web 文档进行了改进:连续损失为 0.076 nats/token,高于原生 9B(超出 NLL),Jensen-Shannon (JS) 散度为 0.022,原生上下文恢复 (NCR) 为 0.918。在处理零个历史前缀标记时,修正后的 9B 明显优于持续的 4B 推理。证据涵盖一个方向、一对几何匹配的基本模型以及 4K 教师强制延续;近乎原生的门失败了,16K 分支没有运行,自由生成等价性和通用状态接口仍未得到证实。