直接产品流匹配：解耦径向和角度动力学以实现少样本自适应

最近的流匹配（FM）方法通过将跨模式对齐建模为连续的多步骤流，改进了视觉语言模型的小样本自适应。在本文中，我们认为现有的 FM 方法本质上受到预训练跨模态特征上不兼容的几何先验的限制，导致自适应性能不佳。我们首先从极分解的角度（即径向和角度子流形）分析这些方法。在这种新的几何视图下，我们发现了其中三个被忽视的局限性：1）角动态畸变：径向角耦合导致角子流形上的速度不均匀，导致回归训练困难和额外的截断误差。 2）径向动力学忽略：特征归一化丢弃了模态置信度，无法区分分布外和分布内数据，并放弃了关键的径向动力学。 3）上下文无关的无条件流：预训练的跨模态特征提取过程中数据集特定的信息丢失仍然无法恢复。为了解决这些问题，我们提出了扭曲产品流匹配（WP-FM），这是一个统一的黎曼框架，可以重新表述扭曲产品流形上的对齐。在此框架内，我们通过引入恒定扭曲度量来推导直接乘积流匹配（DP-FM），从而产生解耦的圆柱形流形（即直接乘积流形）。 DP-FM能够实现独立的径向演化和恒速角测地传输，有效消除角动态畸变，同时保持径向一致性。同时，我们通过调节预训练 VLM 隐藏状态的流程来注入缺失的数据集特定信息，从而合并无分类器指导。 11 个基准测试的广泛结果表明，DP-FM 在多步少样本自适应方面实现了新的最先进技术。