程序性知识并非低秩：LoRA为何无法内化多步骤流程

以LoRA为代表的参数高效微调方法已成为适配大语言模型的默认选择，在指令遵循、风格迁移和事实适配方面均获成功。我们发现，对于程序性知识——即在条件分支下遵循多步骤流程直至终止状态的能力——LoRA在其仍保有效率优势的秩上无法匹敌全量微调。在一个程序性旅行预订任务（14个节点）上的系统性消融（r = 16--128）中，所有LoRA配置一致失败（任务成功率<= 2.54，而全量微调为4.11，均p < 0.001），且秩越高得分越低——尽管对话完成率保持在95--99%。在8B模型上对Zoom客服（14个节点）和保险理赔（55个节点）的跨域复现证实该失败具有普遍性：在r = 32和r = 128下，LoRA平均比全量微调低0.8--2.2分，最复杂的流程差距最大。将秩从32提高到128（四倍）仅带来边际改善，并不能弥合差距。对全量微调所产生的权重变化做SVD分析解释了原因：在3B和8B的三个领域上，更新的平均有效秩在761到1026之间，而秩128只能捕获Frobenius范数平方的43--51%。综合来看，这些发现表明在程序性任务上LoRA远逊于全量微调——这对智能体应用是一个根本性限制。