基于可验证观测的大语言模型服务信念引导推理控制

在黑盒大语言模型（LLM）服务中，响应可靠性在决策时往往只能被部分观测，而更强的推理路径会带来可观的计算成本，由此构成一个带预算的序贯决策问题：对每个请求，系统应判断默认的低成本响应是否足够可靠，或是否应分配额外计算以提升响应质量。本文提出Veroic（Verifiable Observations for Risk-aware Inference Control），一个面向黑盒LLM环境的自适应推理控制框架，将请求时控制形式化为部分可观测马尔可夫决策过程，以刻画部分可观测性与序贯预算耦合。它从输入-输出对构建轻量级可验证观测通道，将异构质量信号聚合为关于潜在响应可靠性的信念状态，再由预算感知策略据此决定返回默认输出还是触发更高成本的推理路径。在多样任务上的实验表明，与有竞争力的基线相比，Veroic实现了更优的质量-成本权衡、更强的风险估计与校准，以及更鲁棒的长程推理控制。