论文
RDP LoRA：大语言模型 中参数高效适应的几何驱动识别
RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models
摘要
尽管采用低秩适应（LoRA）等参数有效的方法，微调 大语言模型（LLM）在结构上仍然不确定，因为对内部表示的特定于层的作用知之甚少，导致关于应该在哪里应用适应的启发式决策。我们将隐藏状态的演化建模为高维几何轨迹，并建议使用 Ramer-Douglas-Peucker (RDP) 算法（一种无参数和 无需训练 多边形简化方法）来识别表示路径上的关键断点，该方法保留全局结构转换，同时消除局部冗余变化。至关重要的是，我们不仅使用这些几何枢轴进行分析，而且将其作为直接决策信号，用于确定在参数高效 微调 期间应调整哪些层。通过将此几何感知层选择策略集成到 Qwen3-8B-Base 的 LoRA 微调 中，我们仅使用 13 个 RDP 选择层 (81.67%) 在 MMLU-Math 上实现了卓越的性能，显着优于完整 36 层自适应 (79.32%) 和随机 13 层选择 (75.56%) 以及基线 Qwen3-8B-Base 模型（74.25%）。这些结果表明，利用表示轨迹的内在几何形状提供了强大的、可解释的 无需训练 信号，用于在模型适应期间优化层选择。