NANQ：用于模拟内存计算的噪声本底感知混合精度非均匀量化

模拟内存计算 (CIM) 可实现节能的神经网络推理，但设备变化和读取噪声会严重降低低位量化模型的性能。现有的面向CIM的量化方法主要是最小化理想量化误差，忽略硬件本底噪声，从而导致精度分配效率低下。我们提出了 NANQ，一种用于模拟 CIM 的噪声感知混合精度非均匀量化框架。 NANQ 根据 eFlash CIM 阵列的测量响应对与幅度相关的权重噪声进行建模，并将噪声分布转换为自适应量化密度，为低噪声区域分配更精细的分辨率，同时避免噪声主导区域中的无效精度。它通过使用统一阈值识别硬件噪声下每层的精度饱和点来进一步分配逐层位宽。 eFlash CIM SoC 上的片上实验表明，在 2 位权重幅度量化下，与 PowerQuant 相比，NANQ 将视觉模型精度提高了 8.05 个百分点，并将语言模型 PPL 平均降低了 54.7%。混合精度 NANQ 仅用 3.2-3.8 个等效比特捕获从额外量化资源获得的大部分增益。