BrickBench：评估 Agentic 砖块设计

我们提出了 BrickBench，这是 agentic 文本条件乐高套装设计的基准。根据提示，代理的任务是生成一个组件，该组件不仅满足语义和设计标准，而且还可以进行物理构建。为此，它必须从离散库中选择部件，并联合推理局部和全局约束。我们对规模和零件可用性各不相同的三种设置的有效性、一致性和设计进行评分。我们提供 BrickAgent，这是一个供编码代理构建、检查和验证其设计的环境。我们发现领先的智能体很大程度上满足了可验证的物理和语义要求，但达不到人类设计。我们在 http://www.brickben.ch 发布基准和环境