DiagGen：通过基于 Sim 的机器人仿真诊断来代理生成可变形资产

虽然模拟就绪的可变形资产对于计算机机器人操作任务至关重要，但现有的生成框架通常会在生成后评估物理合理性，从而使对象的模拟响应无法用作修复上游错误的反馈。我们提出了 DiagGen，这是一个代理框架，它通过生成-模拟-诊断-优化循环将单个野外图像转换为可模拟的可变形资产。 DiagGen 构建零件感知几何和材料参数，然后使用基于 VLM（视觉语言模型）的代理来选择语义信息区域，在物理模拟器中探测它们，观察材料响应，并将有证据支持的修复线索路由到负责的生成阶段。对 40 个资产进行的实验表明，诊断提供了有用的修复线索，并且可以适度提高生成的可变形资产的质量。最后，我们表明，与视觉基础模型生成的资产（可能不可模拟）不同，DiagGen 生成的变形可以直接放入高保真物理模拟器中，用于规划和模拟接触丰富的拾取和放置任务。该项目的网站是这个 https URL。