通过神经元激活图进行面向目标的预训练数据选择

日常任务都有一个目标，围绕这个目标的预训练模型可以让他们成为专家。在本文中，我们通过引入神经元激活图排序（基于 NAG 的排序）、无需训练 和用于目标预训练数据选择的可解释框架来研究面向目标的语言模型（LM）预训练。我们的方法不是使用黑盒表示，而是直接通过任何现成的 LLM 中的一组稀疏的高影响神经元来表征每个目标输入。具体来说，我们量化神经元影响并选择跨层最有影响力的神经元到紧凑的神经元激活图（NAG）中，并根据 NAG 与目标示例的相似性对候选数据进行排名。我们在六个基准上进行了实验，其中基于 NAG 的排名比随机采样平均将面向目标的预训练提高了 4.9%，并且在 HellaSwag 上的准确率也比最先进的基线高出 5.3%。它在更适用的多目标设置下也仍然有效，我们的最佳设置分别超过两个基线 1.1% 和 4.1%。此外，我们对 NAG 工作的原因和方式进行了全面分析，例如，停用 NAG 选择的神经元（仅占全部神经元的 0.12％）会导致 23.5％ 的性能崩溃，而将 NAG 限制在最后一层会导致 4.1％ 的平均下降，表明 NAG 捕获了用于学习目标特征的稀疏“功能骨干”。我们在 https://github.com/asillycat/NAG 发布了代码。