论文
CALIBUDGET:固定预算混合推理适应的校准引导源分配
CALIBUDGET: Calibration-Guided Source Allocation for Fixed-Budget Mixed-Reasoning Adaptation
摘要
来自异构数据源的固定预算调整不仅需要决定使用多少数据,还需要决定每个数据源接收到多少数据。规模成比例的规则可能会排挤小资源,而仅考虑难度的规则可能会追逐嘈杂的估计或将剩余预算分配给接近饱和的池。我们引入了 CALIBUDGET,一个受下限保护、具有可靠性意识的整数分配器,它将源暴露视为显式适应变量。从小型列车内部校准拆分,它结合了模型需求、落地后可用性和引导稳定性,然后在不更改模型、目标或总预算的情况下生成准确的容量配额。在结合了数学和常识数据的受控设置中,CALIBUDGET 在所有三对 LLaMA-2-7B LoRA+ 运行中改进了 CommonAvg、FragileAvg 和 MacroAvg 的验证误差与地板(最强匹配比较器)。平均涨幅分别为 0.56、0.46 和 0.41 个百分点 (pp)。总体增加了 0.18 pp,而 MathAvg 减少了 0.20 pp,暴露了覆盖率-保留边界而不是均匀增益。 CALIBUDGET 仅改变了源预算的 1.14-1.42%,但在常识性任务和种子的 24 次比较中,有 15 次提高了性能。这些结果表明,来源配额的微小变化可能会产生影响;然后,示例级别的选择可以确定哪些示例满足每个配额。