巩固还是适应？PRISM：通过梯度集中度解耦SFT与RL数据

虽然“监督微调（SFT）后接强化学习（RL）”的混合范式已成为训练LLM代理的标准流程，但这两个阶段之间有效的数据分配机制在很大程度上仍缺乏研究。当前的数据仲裁策略往往依赖表层启发式，无法诊断内在学习需求。由于SFT通过模仿实现模式巩固，而RL通过探索驱动结构适应，将数据与其功能角色错配会造成严重的优化干扰。我们提出PRISM，一个以图式理论（Schema Theory）为基础、依据数据与模型既有知识的认知冲突程度进行仲裁的动态感知框架。通过分析梯度的空间几何结构，PRISM将触发高空间集中度的数据识别为需要RL进行结构重构的高冲突信号；相反，产生分散更新的数据则被路由到SFT以进行高效巩固。在WebShop与ALFWorld上的大量实验表明，PRISM实现了Pareto改进，在超越最先进混合方法的同时将计算成本最多降低3.22倍。我们的发现表明，基于内部优化机制解耦数据，对可扩展且稳健的代理对齐至关重要。