论文
VLA 的线性表示假说:从表征到动作动态
The Linear Representation Hypothesis for Vision-Language-Action Models
摘要
线性表示假设(LRH)已成为通过大型语言模型(LLM)的内部表示来测量和干预语义信息的标准镜头。越来越多的工作已经开始将这种视角扩展到视觉-语言-动作(VLA)模型,但具身交互的动态性质带来了额外的挑战。与大语言模型中通常研究的语义属性(例如性别或语言)不同,VLA 中的感兴趣物理量 (QoI) 与系统动态共同发展:表示影响策略选择的动作,从而改变物理状态,进而改变下一个表示。在本文中,我们为 VLA 开发了一种基于路径签名的 LRH 理论公式,统一了表示和策略。在表示方面,我们建立了表示的存在性,可以通过线性探测来恢复候选行动轨迹下 QoI 的未来演化。在策略方面,我们引入了随机动作块的路径签名广义线性模型。这种结构使预期的未来 QoI 沿着自然参数空间中的线性路径产生单调变化,从而实现线性转向。我们在平面控制仿射导航实验中构建了显式的理想化表示,并验证了预测的线性探测和转向机制。
