AssemState：以说明与物理状态指导家具装配

多模态大语言模型 (MLLM) 在视觉理解方面取得了重大进展，但与物理环境相结合的精确 3D 空间推理仍然很困难。家具组装不仅需要从图解手册中恢复步骤级操作，还需要将语义附着关系转换为 6D 姿态更新，使零件能够与环境和先前组装的组件进行物理交互。为了研究这个问题，我们提出了 AssemState，这是一个用于手动和物理状态引导家具组装的零镜头框架。它首先采用锚引导的边界装配状态将手册页分解为单部分操作并恢复装配树。然后，它使用迭代后状态反馈细化来指导连续 (SE(3)) 更新和修正，并通过基于模拟的发布测试验证其物理合理性。实验表明，与最强的先前基线相比，AssemState 将程序集树恢复的 F1 从 38.58% 提高到 62.80%，树精确匹配从 28.24% 提高到 53.92%。在 243 个独立评估的零件级操作中，我们提出的迭代细化将判断接受的操作从 0 提高到 5.3%，并将平均倒角距离从 5.4111 降低到 1.7744。然而，视觉上合理的候选姿势仍然可能遭受碰撞、浮动、镜子方向错误、不完整的座位和错误的侧面附着等问题。这些结果表明，AssemState 改进了操作结构恢复和选定的局部姿态指标，而 MLLM 在空间关系推理方面仍然受到限制。