论文
体现 SLM 中的几何条件:0.8B 混合模型中的训练控制和鲁棒性诊断
Geometry Conditioning in an Embodied SLM: Training Controls and Robustness Diagnostics in a 0.8B Hybrid Model
摘要
我们研究物理状态输入如何影响 0.8B 混合语言模型,该模型适用于 6.2M 可训练参数的操作。针对三项 LIBERO-Spatial 任务对六种条件进行了训练,并对三个种子和 540 个保留的部署进行了评估。根据几何增量调节循环衰减门的成功率为 28.9%,相比之下,在训练过程中打乱这些增量时的成功率为 36.7%,而在没有明确的对象/目标几何的情况下,成功率为 24.4%。两种几何策略在评估时都会收到正确的输入。使用相同增量的词元适配器得分为 27.8%;不同种子之间的差异有所不同,并且仍然没有结论。词元时钟调节得分为 11.1%,其中包括一个未能收敛的种子。在单独的稳健性测试中,仅状态相对坐标策略在帧重新标记下保持 7/10 的成功,而所有四个测试的视觉策略在 5 厘米的对象位移后最多降至 3/20。这些结果表明,在此方案下的训练时几何对齐没有可靠的优势,并说明了坐标不变性和物理布局泛化之间的差距。本文附有剧集记录、种子级分析和图形生成代码。