硬资源约束下的 LLM 评测动态预算分配

我们通过事件时间来评估多轮交互中的大语言模型 (LLM)：产生感兴趣事件所需的交互步骤数，例如成功越狱或 Agentic 任务完成。在有限的计算下，交互可能会在事件发生之前终止，因此事件时间只能被部分观察（审查）。用于校准事件发生时间界限的现有分配方法仅在预期中满足预算，并且可能超出特定评估运行的可用预算。由于轨迹的成本最初是未知的，因此强制执行硬约束尤其具有挑战性。我们引入了预测校准回流的硬预算分配（HARP），这是一种满足硬资源约束并自适应地重新分配未使用预算的预算分配。我们展示了如何使用 HARP 构建事件发生时间的预测下限 (LPB) 并估计评估指标，例如固定基准上的越狱率。尽管 HARP 会导致不同轨迹的采办决策存在依赖性，但我们证明 HARP 永远不会超出目标预算，其 LPB 具有有限样本覆盖保证，并且其度量估计是无偏的。对 Agentic、任务成功率、LLM 越狱、有毒内容生成和 RAG 幻觉的实验表明，HARP 的覆盖范围接近标称水平，方差较低，同时从未超出给定的预算。