论文

LeCuration:用小型世界模型辅助数据整理

LeCuration: A Tiny World Model as a Data Curation Multi-Tool

模型训练模型评测应用与实践合成数据评测方法与指标机器人

摘要

物理人工智能的许多应用程序在有限或封闭的物理世界中运行,具有一组有限的物理定律来控制对象行为。例子包括在仓库工作的机器人和在视频游戏中移动的Agent。为了更好地组织、过滤和管理物理人工智能应用的数据,我们提出了一种以单个数据集的独特设置和物理定律为中心的新方法。我们训练 LeCuration,这是一个小世界模型,旨在充当独立的更大下游模型的数据管理工具。为了构建这个模型,我们选择 LeWorldModel (LeWM) 作为我们的潜在编码器和预测器,添加扩散变换器 (DiT) 解码器以向自回归游戏推出添加视觉效果。我们发现该模型的嵌入可以用作异常检测信号和基于内容的聚类启发式,并且使用该模型自动回归预测游戏状态使我们能够定性检查动作状态的一致性。本文提出了有关 CS:GO 游戏数据的定性概念验证案例研究;我们还没有报告 定量管理指标或下游培训结果,我们认为这是下一步的关键。

LeCuration:用小型世界模型辅助数据整理:论文原图
图 1:LeCuration 的完整架构。使用 TAESD 将帧压缩为 StableDiffusion 潜在变量,然后由潜在编码器将其编码为世界状态向量。潜在预测器采用 6 个过去的世界状态和下一个动作向量来预测下一个世界状态,并通过将下一个地面实况帧编码为世界状态来进行监督。扩散解码器为每个游戏帧单独生成 TAESD 潜伏,仅以预测的世界状态为条件。这些由 TAESD 解码器解码为 RGB 帧。