MetaPoint：解锁代理视觉生成中的精确空间控制

生成视觉模型从根本上与精确的空间控制作斗争。这是由于核心脱节造成的：模型可以处理空间的文本描述，但不能直接将数字坐标映射到 2D 图像画布上。我们引入了 MetaPoint，这是一种通过将连续的 2D 坐标表示为单个特殊标记来弥补这一差距的方法。至关重要的是，MetaPoint 不需要新的架构组件；它直接利用模型固有的位置编码方案来解释这些坐标，将我们的标记视为画布上的虚拟点。这种轻量级方法可以使用一个词元或两个词元对对象的位置进行像素级控制，所有这些都不需要架构更改或定制的注意力屏蔽。 MetaPoint 词元被设计为组合的，充当空间基元。这允许规划器代理将高级用户请求分解为生成器的结构化原语序列。通过提供简单、精确且可扩展的空间控制构建块，MetaPoint 解锁了更强大的合成生成代理，并实现了直观的交互式编辑系统。