通过直接潜在增强的联觉：绕过跨模态的解码-编码循环 蒸馏

虽然多模态集成显着改进了计算机视觉模型，但部署它们会产生高昂的推理成本，并且需要稀缺、完美配对的数据集。最近的方法通过生成人工智能合成缺失的模态来解决这个数据瓶颈，但它们引入了严重的低效率：解码-编码循环。具体来说，信息丰富的生成潜伏被解码为嘈杂的原始信号，迫使下游分类器浪费容量重新编码它们。为了绕过这个瓶颈，我们提出了直接潜在增强（DLA），直接利用未解码的生成潜在作为特权信息。此外，为了将这种密集的知识传授给纯粹视觉的学生，我们引入了多层显式模拟联觉（MESSy）。 MESSy 没有强制执行严格的表征匹配（强制学生扭曲其原生视觉特征以适应复杂的多模态拓扑），而是使用预测目标来安全地内化这些物理先验。实证结果表明，我们的框架显着优于原始数据增强和传统的 蒸馏。最终，我们的方法产生了高度准确的单峰学生，这些学生具有“联觉”潜在结构，这些结构本质上与他们从未直接观察到的模式相一致。