论文
PACE：感知延迟感知级联服务路由和填充控制，用于 QoE 高效检索增强对话服务
PACE: Perceived-Latency-Aware Cascading Service Routing and Filler Control for QoE-Efficient Retrieval-Augmented Dialogue Serving
摘要
我们提出了 PACE，一个用于检索增强对话服务的框架，它将感知首次响应时间 (PTFR) 正式化为 QoE 目标，并在质量/成本限制下将其最小化。与之前的级联路由、语义缓存或自适应检索工作不同，PACE 共同控制哪个答案源组成响应以及什么填充等待窗口。它部署在人形机器人销售服务上，结合了三种机制：负载自适应级联路由器、联合路径填充控制器和波动感知缓存准入。在 75k CarQA 请求中，级联将 P95 处的纯 LLM PTFR 减半（c16 处为 0.29 秒 vs 0.53 秒）。自适应控制器达到0.41s P95，在同等质量的高负载下，性能是RAG的2.4倍。填充控制器可将呼叫减少 94%，且零冲突。波动性感知入场将过时的答案从 86% 减少到 0%。门控规则可确保控制器永远不会比基线更差，且暴露范围受一个保持周期的限制。这是对已部署服务中填充-答案冲突风险的首次量化。