论文
RACE：LLM神经元功能一致性的可扩展统计估计
RACE: Scalable Statistical Estimation of Functional Consistency in LLM Neurons
摘要
在整个领域上发现稳定的神经元行为仍然是机制可解释性中的一个挑战。现有方法往往依赖实例级的点估计或计算代价高昂的程序，要么掩盖了总体层面的变异性，要么限制了可扩展的全领域分析。我们提出RACE（Residual Alignment for Consistency Estimation），一个前向传播统计框架，用于评估Transformer神经元的全领域功能一致性。扰动实验表明，与基于梯度的点估计相比，RACE实现了更优的领域特异性。同时，token分布层面的结果验证了所选神经元与目标领域的关联。此外，其计算开销比基于梯度的方法低两个数量级。
