论文

基于语言的世界模型的写保护离散瓶颈:结构限制和充分修复

Write-Protected Discrete Bottlenecks for Language-Grounded World Models: A Structural Limitation and Sufficient Fix

模型架构新型架构

摘要

语言应该如何与世界模型的离散符号系统交互?主导范式——将 LLM/VLM 特征端到端注入机器人世界模型(RT-2、Octo、PaLM-E)——隐含地假设语言梯度可以直接塑造物理符号表示。我们询问这个假设是否安全,发现它不安全,并描述了防止失败的最小架构约束。任何进入基于 Gumbel-softmax 的离散符号瓶颈的语言梯度都会迫使结构性权衡:普通估计器崩溃到 2.2/64 个符号(4/5 种子),而五种反崩溃策略保持多样性,但无法学习语义标签(全部 <= 9.2% 准确度)。没有经过测试的 GumbelBottleneck 变体能够同时实现这两个目标。在这一系列离散瓶颈中,失败是结构性的,而不是优化问题。我们描述了一组足够的三个约束来防止失败:(1)切断梯度链(z.detach()),防止语言信号到达符号瓶颈; (2)提供无梯度语义通道——非参数内存表(Dict[symbol -> Counter[label]],零参数,零梯度),其中共现计数取代基于梯度的绑定; (3) 通过 DP-Means 流式聚类处理符号冲突,以实现自动子聚类分裂。所有三层共同实现了 97.2% 的语言与符号对应准确率,而没有第 3 层则为 22.2%。在跨越 74 次独立运行的两项实验中,我们证明了所有 32 个种子中的零符号崩溃,黑板在三种编码器架构(CNN、V-JEPA 300M、CLIP ViT-L)、两种环境和三种纹理条件下实现了 79-100% 的语义绑定。该修复训练的参数少于 2M,并且不需要 LLM 微调。