SceneOrchestra：通过完整的工具调用轨迹生成进行高效的代理 3D 场景合成

最近的 3D 场景合成代理框架通过集成异构生成和编辑工具，具有先进的真实性和多样性。这些工具被组织成由现成的 LLM 编排的工作流程。当前的方法通常采用执行-审查-反映循环：在每个步骤中，编排器都会执行一个工具，呈现中间结果以供审查，然后决定下一步的工具及其参数。然而，这种设计有两个关键限制。首先，下一步的工具选择和参数配置是由启发式规则驱动的，这可能会导致执行流程不理想、不必要的工具调用、输出质量下降和运行时间增加。其次，在每个步骤之后渲染和检查中间结果会带来额外的延迟。为了解决这些问题，我们提出了 SceneOrchestra，这是一个可训练的编排框架，可以优化工具调用执行流程并消除逐步审​​查循环，从而提高效率和输出质量。 SceneOrchestra 由协调器和鉴别器组成，我们通过两阶段训练策略对其进行微调。在第一阶段，编排器学习上下文感知工具选择和完整的工具调用轨迹生成，而鉴别器则接受训练以评估完整轨迹的质量，使其能够从多个候选轨迹中选择最佳轨迹。在第二阶段，我们进行交错训练，其中判别器适应协调器不断变化的轨迹分布，并将其判别能力提炼回协调器。在推理时，我们仅使用协调器从指令生成并执行完整的工具调用轨迹，而不需要鉴别器。大量的实验表明，与之前的工作相比，我们的方法实现了最先进的场景质量。