基于 LLM 的运动轨迹生成和验证的自洽

自我一致性已被证明是一种以轻量级、无监督的方式提高 LLM 在自然语言推理任务上的性能的有效技术。在这项工作中，我们研究如何使自我一致性适应视觉领域。具体来说，我们考虑 LLM 生成的运动图形轨迹的生成和验证。给定提示（例如，“沿螺旋路径移动圆”），我们首先从 LLM 中采样不同的运动轨迹，然后通过聚类识别一致轨迹组。我们的主要见解是将与提示相关的形状族建模为与一组几何变换（例如，刚性、相似性和仿射）配对的原型轨迹。如果一条轨迹可以在变换组允许的扭曲下变换为另一条轨迹，则可以认为两条轨迹是一致的。我们提出了一种使用一组候选变换组之间的层次关系自动恢复形状族的算法。我们的方法将基于 LLM 的轨迹生成的准确性提高了 4-6%。我们进一步扩展我们的方法来支持验证，观察到比 VLM 基线提高了 11% 的精度。我们的代码和数据集可在 https://majiaju.io/trajectory-self-consistency 获取。