低交互秩学习：统一乘法双编码器头

乘法双编码器网络计算一对输入的实值输出作为它们单独编码的内积。该架构在算子学习、二分匹配、对比视觉语言模型、检索等领域都是独立开发的，但没有统一的理论指导基本的设计决策：要表示多少种交互模式、如何标准化编码器以及何时应避免该架构。我们通过引入低相互作用秩函数类来提供这样的基础，该类的内在复杂性是通过其相互作用谱来衡量的。在这个框架内，近似误差分解为谱截断项和编码器实现项；样本复杂度由两个编码器复杂度之和而不是它们的乘积决定；基于频谱衰减的可用性标准决定了架构何时能够成功。相同的框架暴露了一个中心可识别性问题：编码器仅被定义为线性规范对称性，这使得学习到的坐标是任意的。我们证明归一化是规范固定，而白化将相互作用模式固定为排列和符号，从而解释了对比维度的不可解释性并提供了建设性的补救措施。合成核、算子学习和 CLIP 模型的实验验证了理论预测：光谱衰减率与预测的缩放比例相匹配，白化恢复了真实模式，并且独立训练的 CLIP 模型通过单次旋转相关，在通过白化去除后，暴露了可解释的概念轴。本文的代码位于https://github.com/RS2002/Mul-Net。