损害预测恢复：当校准数据在压缩金融大语言模型时很重要时

训练后量化和剪枝依赖于小型校准语料库。金融等专业领域是否需要领域匹配的校准数据仍悬而未决。我们认为答案取决于压缩造成的任务级损坏，而不是域不匹配。如果压缩保留了目标能力，则更改校准语料库几乎没有影响。如果压缩造成较大损失，任务格式校准可以恢复部分损失。我们在两个模型系列、六种压缩配置、三个词元匹配校准语料库以及十个金融分类和数值问答任务中测试了这一假设。结果支持了这一假设。量化在很大程度上保留了任务性能，并且校准选择在这种情况下几乎没有影响。剪枝将数值 QA 准确率降低了 40 多个点。在这些受损的环境中，另一个通用语料库无济于事，而 FinMix（金融任务示例的混合体）则弥补了很大一部分损失。损坏和恢复之间的联系适用于不同的模型系列和规模。这些发现支持了一项实际规则。首先测量特定任务的压缩损伤，仅在损伤较大时构建专门的校准数据。