低秩 PEFT 的更精细参数步骤：使用 CP 张量适配器的受控研究

低秩适配器通常通过扫描一小组等级来进行比较，但等级也固定了参数预算的分辨率。对于 $2048{\times}2048$ OPT 注意力预测，将 LoRA 增加一级可存储 $4096$ 可训练标量，在可行的低预算适配器大小之间留下巨大差距。本文询问具有更精细容量增量的张量化适配器是否会改变观察到的精度与预算权衡。我们使用固定组件正则多元 (CP) 张量适配器来实例化这个问题。在 $32{\times}64{\times}32{\times}64$ 张量化下，一个标准化 CP 组件每个投影存储 $193$ 可训练标量，比一个 LoRA 秩步长小约 $21$ 倍。我们在匹配的目标模块、训练协议、数据上限和种子计划下比较 SST-2、RTE 和 BoolQ 上的 OPT-1.3B 上的 CP 适配器和 LoRA。 CP 训练稳定并填补了 LoRA 等级之间的空白，但效果取决于任务：SST-2 早期达到了低预算平台，BoolQ 在略低于 LoRA 饱和之前受益于额外的 CP 组件，而 RTE 仍然受到 LoRA 的青睐。因此，更精细的参数步骤对于诊断 PEFT 预算敏感性很有用，但它们本身并不能保证更好的准确性——预算曲线。