论文
5% > 100%：平坦度首选项是多模态参数高效 微调 所需的全部
5% > 100%: Flatness Preference is All You Need for Multimodal Parameter-Efficient Fine-Tuning
摘要
参数高效的 微调 (PEFT) 方法提供了一种简化且高效的工具，用于使大型模型适应特定领域的多模式下游任务。尽管这些方法在实践中证明了它们的实际效果，但它们的主要方面仍未得到充分探索。因此，我们仍然对各种 PEFT 方法中的潜在泛化机制以及如何进一步增强它们感到好奇。在本文中，我们揭示了各种 PEFT 中广泛存在的平坦度偏好，其中一小部分锐利尺寸主导了 PEFT 的泛化。这一发现提出了一种吸引人的可能性：我们可能会通过仅仅关注锐维度的一小部分而不是全部来获得更好的概括。此外，我们提出平坦度偏好优化（FlatPO）来平坦化这些关键的清晰度维度，从而引导各种 PEFT 实现更好的泛化。大量的实验证明了我们的发现和所提出的方法的有效性。代码可在 https://github.com/Can-Lin/FlatPO 获取。