论文
LeCuration:用小型世界模型辅助数据整理
LeCuration: A Tiny World Model as a Data Curation Multi-Tool
摘要
物理人工智能的许多应用程序在有限或封闭的物理世界中运行,具有一组有限的物理定律来控制对象行为。例子包括在仓库工作的机器人和在视频游戏中移动的Agent。为了更好地组织、过滤和管理物理人工智能应用的数据,我们提出了一种以单个数据集的独特设置和物理定律为中心的新方法。我们训练 LeCuration,这是一个小世界模型,旨在充当独立的更大下游模型的数据管理工具。为了构建这个模型,我们选择 LeWorldModel (LeWM) 作为我们的潜在编码器和预测器,添加扩散变换器 (DiT) 解码器以向自回归游戏推出添加视觉效果。我们发现该模型的嵌入可以用作异常检测信号和基于内容的聚类启发式,并且使用该模型自动回归预测游戏状态使我们能够定性检查动作状态的一致性。本文提出了有关 CS:GO 游戏数据的定性概念验证案例研究;我们还没有报告 定量管理指标或下游培训结果,我们认为这是下一步的关键。
