Streaming Tool什么时候使用帮助？表征流检索增强生成中的工具意图稳定性

流式检索增强生成（流式 RAG）通过在话语完成之前与用户仍在到达的输入并行发出检索查询来隐藏工具延迟。不过，只有当用户停止说话或打字之前可以确定正确的查询时，推测才有帮助——这是查询的属性，而不是系统的属性。我们命名并测量这个属性，工具意图稳定性：输入流中推测性查询的检索收敛于答案承载结果的点。在 CRAG 基准（1371 个验证问题）上，我们 (i) 描述稳定性如何在查询之间分布； (ii) 给定工具延迟 L 和输入节奏增量，得出可隐藏在剩余输入后面的工具延迟份额的与模型无关的界限 H； (iii) 根据工作流管道对其进行验证； (iv) 询问哪些查询属性可以预测早期稳定和晚期稳定。稳定通常是早期的：在实际操作点，基准的 73.9% 的可流部分承认延迟隐藏，并且 H 充当保守的聚合下限，实现节省达到或超过 - 尽管它不能通过查询预测节省。问题类型产生统计显着但较小的早期/晚期分裂。该研究不需要 模型训练 并且在商用 CPU 硬件上运行；密集的 检索器 复制证实了早期稳定效果不是 BM25 词汇伪影。