VERA：自适应LLM法官的判决条件可靠性

准确估计判断的可靠性是让LLM判断者适应新验证的反馈，同时保留以前学到的行为的一个核心挑战。然而，现有的方法通常依赖于产出水平的置信度，这可能会过于自信并且与判断正确性不一致。我们提出了 VERA，一个以 VERdict 为条件的可靠性轴，通过区分每个预测结论组中的正确判断和错误判断来估计隐藏激活的可靠性。使用 VERA 作为控制信号，我们开发了一个 VERA 引导的周期性适应框架，该框架集成了可靠性排名校正更新、可靠性残差重播和可靠性方向的定期刷新。在 Chatbot Arena 上进行 VERA 指导的适应后，8B-和 14B-参数法官在四个留出公共基准测试中的每一个上都超越了最强基线，相对收益高达 23.01%。相对于单独的专有时间审计任务的最强自适应基线，该框架还将焦点类召回率提高了高达 16.1%。