论文

支持条件的流匹配是核平滑

Support-Conditioned Flow Matching Is Kernel Smoothing

模型评测模型行为与机制分析

摘要

生成模型通常通过交叉注意力以一小组示例为条件。在高斯最优传输路径下,我们证明由有限支持集引起的精确速度场是 Nadaraya-Watson 核平滑器,其带宽随着流动时间而减小,从早期步骤的广泛平均到后期步骤的最近邻。单个高斯核注意力头可以精确计算该场,将交叉注意力调节与经典核理论联系起来。该理论预测了三种失效模式:高维核的最近邻崩溃、各向同性核和数据几何之间的不匹配以及对非参数估计的支持不足。对高斯混合、球壳和 DINOv2 ImageNet 特征的实验证实,学习调节在这些机制中得到了精确改善,并且 IP-Adapter 的交叉注意力在实践中实现了近似 NW 平滑。