RSRA：无需训练 高效 LoRA 秩分配的表示灵敏度探测

参数高效的 微调 使 大语言模型 能够以大幅降低的计算和存储成本来适应下游任务，而低秩适应（LoRA）是其最广泛使用的技术之一。然而，普通的 LoRA 为所有自适应模块分配统一的秩，而现有的自适应方法要么会产生额外的优化开销，要么依赖于静态权重和局部梯度，而这些静态权重和局部梯度无法捕获任务条件表示变化。我们提出 RSRA，这是一种 无需训练 等级分配器，它通过在小型校准集上进行仅前向表示灵敏度探测来估计最需要适应能力的位置。具体来说，RSRA 使用频谱有效等级来跨层分配容量，使用 Frechet 距离测量标准化虚拟低秩更新下的模块隐藏状态位移，并通过分层归一化组合两个信号，以在 微调 之前生成任务感知等级配置。在 Qwen3-4B 和 Mistral-7B 的常识推理和自然语言理解基准测试中，RSRA 在所有三个报告的模型基准设置中实现了最高的平均性能，并且与最快的竞争预分配方法相比，分配时间加快了 1.48 倍至 1.93 倍。当与 DoRA、LoRA-FA 和 PiSSA 集成时，RSRA 改进了 18 种评估组合中的 15 种，并提高了所有三种 PEFT 方法的平均性能。