论文
具有最少数字调节的热力学扩散推理
Thermodynamic Diffusion Inference with Minimal Digital Conditioning
摘要
扩散模型推理和过阻尼朗之万动力学在形式上是相同的。因此,编码得分函数的物理基底仅通过热力学平衡到正确的输出,在推理过程中不需要数字运算,并且相对于 GPU 可能实现 $10{,}000\times$ 的能耗降低。到目前为止,有两个基本障碍阻碍了这种等价性在生产规模上实现:非局部跳跃连接(局部耦合的模拟基板无法表示)和输入调节(其中耦合常数携带大约 $2{,}600\times$ 的信号太少,无法将系统锚定到特定输入。我们解决了这两个障碍。 \emph{分层双线性耦合}将 U-Net 跳跃连接编码为直接从编码器和解码器 Gram 矩阵的奇异结构导出的等级 $k$ 模块间交互,仅需要 $O(Dk)$ 物理连接而不是 $O(D^2)$。 \emph{最小数字接口}——一个 4 维瓶颈编码器和一个 16 单元传输网络,总共 \textbf{2,560 个参数}——克服了调节障碍。当对从经过训练的去噪 U-Net 中提取的激活进行评估时,整个系统相对于预言机上限 1.0000 获得了 \textbf{0.9906} 的解码器余弦相似度,同时比 GPU 推理保留了大约 $10^7\times$ 的理论净能量节省。这些结果构成了训练后的权重、生产规模热力学扩散推理的首次演示。