论文

构建机器智能的物理(物理)AI 层

Building The Ph(ysical)AI Layer Of Machine Intelligence

模型训练预训练

摘要

基础模型通过对不同数据进行大规模训练来实现泛化,但在没有配对训练数据的情况下,在转移到真正看不见的领域方面存在局限性。我们提出原理驱动的基础模型,对信号理论原理(傅里叶分解、能量守恒、对称性)进行编码,而不是学习不受限制的统计相关性。我们假设域的不同之处不在于基础物理,而在于时间、频率、幅度或相位的可学习变换。专门针对具有共同设计的架构和损耗的射频(RF)数据进行训练,并结合这些原则,我们仅使用从 RF 数据中学习的冻结表示来实现音频、图像、文本和视频的跨模式传输,不需要目标域上的编码器 微调。我们的 1.99M 参数冻结编码器通过线性探测在 15 个不同的任务中实现了 77.7% 的平均准确率(91.9% top-3),并存在系统差异:基于物理的任务(说话人识别、地震学、射频指纹识别)为 84.5,而语义任务(音乐流派、语言识别)为 70.0%。这表明原理驱动和规模驱动的方法提供了互补的路径:物理原理可以实现高效的跨模态传输,同时自然地建立物理和语义理解之间的边界。