依据表示漂移进行文本嵌入模型的无标签混合精度量化

混合精度训练后量化需要每个模块的灵敏度信号；对于文本嵌入器来说，显而易见的一个问题——量化时模块的检索质量成本——需要部署很少有的相关标签。我们测量了一种无标签替代品：量化引起的表示漂移，通过量化一个模块、重新编码语料库并记录输出嵌入从其全精度位置移动多远来获得。具体的是可观察到的：密集检索器排名的部署输出表示。在五个开发嵌入器中，配置级漂移顺序以 0.911 的宏观 Spearman 相对于保留的检索质量对混合精度计划进行了采样，灵敏度在可用范围内跨校准语料库和检索域传输，模块漂移组成了排名一致但不是数值上的，并且相关性导出的灵敏度没有增加一致的值。该方法是硬打包字节预算下的一种附加分配，没有标签，也没有搜索。在方法、基线和假设被冻结和密封之前保持不变的三个嵌入器上，针对先前 LieQ 标准的预先注册的方向假设成立（主要预算为 3/3，没有崩溃），并且漂移分数高于两侧 LieQ 钢人的 2/3；但主要预算漂移在数值上低于所有三个相同预算的统一精度（-0.99、-0.85、-1.01 点），按照设计减少了模块和整个模型漂移。因此，输出漂移是一个鲁棒的粗略灵敏度信号，而不是普遍最优的分配目标：它避免了转移的带符号几何适应的灾难性失败，并且可以在均匀崩溃的压力预算下保持可用，但围绕强均匀工作点的细粒度重新分配仍未解决。