论文

使用参考轨迹审核不可见的权重更新

Auditing Invisible Weight Updates with Reference Traces

AI 基础设施可观测性

摘要

直接低精度回写可以擦除非零优化器建议。我们询问在低精度运行之前高精度参考迹线建立了什么。确切的目标代码事件在已实现的目标轨迹上可按坐标进行审核;预运行聚合投影还假设参考仍然是有用的反事实。在受控的两层网格中,55/72 个单元测量并预测了初始化后交叉:时间跨度 $384\times$,52/55 在 15\% 以内,4/72 在类别上有所不同。匹配的解码器实验表明随机而不是最近的回写可以恢复大部分丢失间隙。一项前瞻性分析网格 E4M3 审计在三个看不见的 NeoX 风格种子中重复使用了一个 fp32 跟踪。它通过了绝对精度和技能门(宏观 RMSE 0.00858),但未能达到方向特异性。在目标结果盲比较中,历史模板的描述性 RMSE (0.00360) 低于预先声明的源预测变量 (0.00438);结果后分解将 99.65% 的变异分配给公共时间,而特权匹配参考校正则达到 0.00283。持久性本地研究~1 在两个时间表中对三个种子进行配对。五个单元格是规范的;手动第六次缺乏规范的过程身份,因此注册的结果仍然不确定。回顾性协议偏差分析结果为阴性,因为完整的恒定中频队列与恢复的余弦重启单元不相交。研究~2 报告意味着全 SR/死区 SR 恢复率为 0.9766/0.9777,比率为 1.0012,这是政策对比而不是因果调解。模拟 INT3 研究~3 重播了 6 个检查点,并观察到一个固定种子中的验证损失减少了 7.3071-nat (69.71\%)。确切的事件和回写效应是可审计的,但总体预测可以反映共享时间而不是特定源的传输。