LMBuild：评估LLM智能体以生成可构建和功能结构

基于LLM的智能体生成复杂 3D 结构的能力越来越强，有可能重塑物体在物理世界中的设计和实现方式。然而，产生优雅的几何形状与产生可以构建并执行其预期功能的对象有着根本的不同。现有的评估主要关注几何质量，而忽视物理可实现性。我们引入 LMBuild，这是一个评估LLM智能体生成可构建和功能结构的基准。 LMBuild 将生成的对象表示为组装结构，包括零件分解、接头、材料和序列。为了支持可重复的评估，我们提供了一个统一的框架，包括：（1）一个交互式环境，智能体可以在其中使用工具来检索、创建和放置组件来构造对象； (2) 精心策划的基准，重新利用已建立的 CAD 数据集，并利用维基百科的知识对其进行增强； (3) 涵盖结构健全性、功能可供性、设计质量和物理实现的评估框架。对 30 个系统的评估揭示了几个有趣的发现： (a) 健全性和一致性不再是前沿闭源模型的主要瓶颈，而功能可供性和物理可操作性仍然更具挑战性； (b) 较强的模型更有效地创建新组件，而较弱的模型往往依赖于检索； (c) 提供功能规格可显着提高零件的完整性、运动学和物理可操作性。这些结果表明，生成现实世界的结构需要对功能可供性、机制以及设计和创建新颖组件进行更深入的推理。我们期望 LMBuild 为衡量进展和激励智能体的研究提供基础，以生成可构建的功能结构。