当指导超出范围时：在模拟内存计算非理想情况下重新校准扩散 Transformer

扩散 Transformer (DiT) 会产生较高的内存流量和能源成本，因为采样会重复评估由线性运算主导的大型降噪器。模拟内存计算 (CIM) 可以通过在权重存储内存阵列中执行线性运算来降低这些成本。然而，CIM 非理想性会扰乱有效权重，误差沿着状态相关的去噪轨迹累积；它们与无分类器引导（CFG）的相互作用仍有待探索。在本文中，我们描述了模拟 CIM 非理想性对 DiT 采样的影响。尽管条件预测和无条件预测都可以与干净的预测保持接近，但它们的差异（CFG 残差）会不成比例地衰减和旋转。将此残差识别为可控故障通道，我们提出了一种无需重新训练的采样器端重新校准，仅调整给定 CIM 条件的 CFG 比例。轨迹级分析表明，适度的重新校准增强了扭曲残差中保留的面向目标的成分，从而能够更早地致力于即时一致的语义区域。相反，过多的引导会放大全部噪声残差并降低质量，从而导致有限的、依赖于噪声的最佳值。在 PixArt-Sigma、PixArt-alpha 和 DiT-XL/2 上进行的大量实验表明，最佳引导尺度随着 CIM 噪声的增加而增加。每个条件使用 30,000 个样本，引导重新校准一致地恢复模拟 CIM 映射的生成质量，在 CIM 噪声水平为 0.20 时缩小至少 87% 的 CIM 引起的 FID 间隙。它将 PixArt-Sigma 上的 FID 从 59.22 降低到 20.49，将 PixArt-alpha 上的 FID 从 72.37 降低到 21.12，将 DiT-XL/2 上的 FID 从 20.89 降低到 6.62。