EverydayGPT：用于高效、安全混合 GPT-RAG 对话式 QA 的置信门控路由

标准检索增强生成 (RAG) 管道无条件地通过检索和生成路由每个查询，从而产生不必要的计算并将低质量上下文传播到生成器。我们引入了 EverydayGPT，这是一个围绕置信门控路由 (CGR) 机制构建的轻量级会话 QA 系统，该系统将路由决策形式化为关于检索距离和提取充分性的联合策略。主干是一个 205M 参数的 GPT，在 FineWeb-Edu 的 10B 词元上从头开始训练。 CGR 通过快速 RAG 提取（约 45 毫秒）解决 85% 的查询，避免调用成本高昂的 GPT 路径（约 5.9 秒），从而在保持答案质量的同时，将大多数查询的延迟减少 120 倍以上。在包含 500 个问题的域内基准测试中，系统实现了 F1 = 0.226 +/- 0.004，而仅 GPT 为 0.171，无条件 RAG 为 0.210。相对于强基线的收益虽然不大，但始终如一，而效率的提高却是巨大的（平均延迟减少了 6.3 倍）。结构化证据支持核验在抽样集中没有发现任何不受支持的主张，并具有明确的范围限制。我们将这项工作定位为对资源限制下的路由策略的研究，而不是声称最先进的性能。