论文

PEPS:先编译类型化空间需求,再选择工具执行与核验

Parse Before You Execute: Efficient Spatial Reasoning with Executable Primitives

智能体系统应用与实践Agent 工具调用Agent 动作执行与治理Agent Harness视觉感知与空间理解

摘要

VLM空间推理日益受益于工具集成流程,以显式几何为计算依据。但现有系统常把查询编译为较开放的代码、任务约束、工具计划或收集证据,没有明确哪些问题必须在执行前解决,因而造成不必要工具获取与迭代细化,且可能在空间条件尚未充分确定时生成貌似合理的推理轨迹。我们将其称为查询编译的约束落实不足。为此,我们提出无需训练的Agentic范式PEPS:在Frame、Entity、State和Metric组成的类型化FESM schema下解析空间推理的可执行原语。PEPS先解析后执行:解析器把查询明确为紧凑的可执行需求;执行器按需通过固定几何API和确定性计算落实原语;验证器检查执行是否足以满足需求,从而提前停止或定向修复。在多个有挑战的空间推理基准上,相比强工具集成基线,PEPS持续提高准确率,并显著减少细化轮数、API费用和端到端时延。结果表明,显式落实需求能同时提高工具集成空间推理的可靠性和执行效率。

PEPS:先编译类型化空间需求,再选择工具执行与核验:论文配图
图 1:看似合理但不完整的需求承诺可能会误导空间推理。