IFCLoRA：参数高效 微调 的拓扑感知排名分配

低秩适应 (LoRA) 是一种广泛使用的 LLM 参数高效 微调 (PEFT) 方法，其有效性取决于秩分配。现有的自适应 LoRA 方法从 微调 之前或期间收集的局部梯度、激活或矩阵统计数据中得出排名；训练时间的变化增加了开销，并且本地信号几乎无法揭示每个模块在信息传播中的结构作用，从而为稀缺容量分配提供了薄弱的全局基础。我们提出了 IFCLoRA，一种用于 微调 之前的等级分配和适配器初始化的拓扑感知方法。 IFCLoRA 使用小型校准集对冻结模型执行干预追踪，并在 LoRA 目标模块上构建稀疏任务条件交互图。从该图中，它先提取全局信息流拓扑，并将其与每个节点的本地梯度敏感度融合，形成拓扑主导的信息流中心性（IFC）分数，衡量任务条件多跳传播的参与度。然后，IFC 分数充当模块级路由信号，用于在排名预算约束下进行一次性离散排名分配。 IFCLoRA 重用来自跟踪的响应向量，构建了一个保留功能的流响应子空间初始化，为适配器提供与任务相关的输出子空间。在所有设置中，IFLCoRA 的平均得分高于标准 LoRA，且 微调 时间和峰值内存相当；它需要一次性离线校准阶段。在 GSM8K 上，IFLCoRA 在两种基本模型上的比较 PEFT 方法中获得了最高的平均精度，在 LLaMA-3.1-8B 上比标准 LoRA 高出 4.75 个百分点。由此产生的排名分配是不均匀的，并且随着任务和基础模型的不同而变化，这表明任务条件的全局信息流拓扑可以作为低预算 PEFT 中排名分配的有用结构先验。