论文

不确定性还不够:LoRA 专家混合体的信息价值路由

Uncertainty Is Not Enough: Value-of-Information Routing for Mixtures of LoRA Experts

摘要

低秩适应专家的混合通过通过适配器子集路由每个输入来提高参数有效容量。当路由器或预测不确定时,最新的动态路由器会激活更多专家。这条规则默默地将不确定性与有用的额外计算等同起来:一个不确定的例子可能包含补充的、未经质疑的专家证据,但在每个专家都同意后它可能仍然不明确。我们将路由制定为经过认证的信息价值分配。 VI-MoLE 了解每个专家前缀后剩余的反事实风险,将这些预测转换为保留的校准数据上的同步高风险证书,并将全局适配器预算花费在词元层操作上,以实现每单位成本的最大认证边际风险降低。然后终端证书决定是否回答或弃权。与不确定性门不同,该程序将当前的模糊性与可恢复风险和剩余风险区分开来。我们证明了同时证书有效性、认证收益递减下的最优贪婪分配以及价值估计误差下的分配遗憾。该评估协议针对固定和动态 MoE-LoRA 路由器测试匹配计算准确性、证书覆盖率、风险覆盖率、分布转移和尾部延迟。