审计优先的 VAPO：不完善验证下的风险认证选择性更新

即使裁剪和正则化限制了其大小，不完美的验证者也可以指定有害的更新方向。我们引入了 Audit-First VAPO，它将离散定向准入与连续幅度控制分开。仅观察接受-上诉-弃权策略使用有限的二次验证预算；在加入清洁标签之前，其动作轨迹会被冻结。然后，同时有限样本范围验证预先声明的保单系列中选定的有害风险、承保范围和验证者调用率。有条件的 Hoeffding-Azuma 边界解释了共享预算引起的依赖性，并且部署或验证者更改启动了新的认证阶段。进入后，有界的 trust-clip-KL 执行器控制幅度。我们根据静态 RLVR、匹配随机选择、置信度阈值、噪声校正和验证器增强的两个推理基准来评估两个模型。在 Qwen3.5-0.8B 和 GSM8K 上，目标风险 $\rho=0.08$ 下，RC-VAPO 的准确率达到 74.1%，选定的有害风险为 0.0697，覆盖范围为 0.4125，相对验证者成本为 $1.16\times$。在匹配的覆盖范围和更新幅度下，其与匹配随机的选定风险差异为 -0.0260，配对 95% 区间为 $[-0.0364,-0.0157]$。在不对称、依赖置信度和相关验证者噪声的情况下，60 次独立运行中的 57 次均满足证书要求。这些比较将信息性方向选择与提案抑制、更新收缩和额外的验证者计算隔离开来。