MARGIN：多智能体基础模型协调的运行时置信度校准

基金会模型池越来越多地用作协调系统中的黑盒响应器，协调器必须决定信任哪个响应。原始自我报告的置信度是自然信号，但在模型之间不具有可比性，并且仅在设计时校正时在分布偏移下会变得陈旧。我们研究多模型协调的运行时置信度校准，其中每个模型的校正是从部署结果中在线学习的，无需模型访问，没有保留的校准数据，也没有重新训练。在 18 个开放权重基础模型、8 个基准测试和超过 44,000 个观察结果中，我们发现在线适应是一种家族财产：简单的相同信息在线校准器弥补了转变下冻结设计时方法留下的大部分校准差距，而遗忘时间表是主要的设计轴。我们提出了 MARGIN（通过增量归一化的多代理运行时分级），它是该系列的结构化成员，它使用对称指数加权更新和收缩混合来维护每个模型、每个置信带的乘法因子。在突变情况下，MARGIN 在预期校准误差 (ECE) 方面并不占主导地位。它的价值在于可解释的置信带信任因素、定义的冷启动和返回模型行为、动态池支持以及固定策略非策略代理的范围对称更新保证。根据经验，原始语言置信度在硬代码生成任务上是微弱或误导性的成对选择信号，而在线校准则大大提高了成对分辨率和多模型选择。我们还评估延迟反馈和仅选择答案的反馈；后者极大地降低了所有相同信息的在线方法的性能，包括 MARGIN。运行时校准充当异构基础模型池的协调层，MARGIN 是一个实用的可检查实例。