论文
IdleSpec：通过投机规划利用空闲时间的LLM智能体方法
IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents
摘要
基于大语言模型（LLM）的智能体通过多步推理、迭代式工具调用与环境交互来求解复杂任务，而这会在等待观察时产生空闲时间。尽管空闲时间在大多数智能体场景中普遍存在，现有工作要么将其视为不可避免的开销，要么提出忽视不同工具调用间算力预算差异与未来观察不确定性的受限方案，从而导致空闲时间利用欠佳。本文提出IdleSpec，一种可扩展且通用的推理方法，利用空闲时间计算来提升智能体性能，同时把延迟开销降至最低。具体而言，IdleSpec在空闲期间迭代生成候选计划，一旦观察可用便对其进行聚合以指导下一步推理。为了在观察不确定性下有效生成计划，IdleSpec在一个通过后验反馈更新的学习分布上，在互补的草拟策略（即渐进式与恢复式）之间采样。我们的实验表明，IdleSpec通过有效利用空闲时间，在多种智能体场景中显著提升性能。特别是在GAIA和FRAMES上，IdleSpec配合Gemini-2.5-Flash取得55.6%的平均准确率，超过不使用空闲时间的vanilla基线5.1%。此外，对于代码执行带来大量延迟的MLE-Bench，IdleSpec在Any Medal率上取得最高9.1%的性能提升，凸显其对长周期任务的泛化能力。
