Bergson：数据归因的开源库

数据归因是可解释性中一个很有前景的领域，旨在通过训练数据的影响来解释模型行为，其应用包括调试不良模型行为和训练数据集管理。然而，大规模执行需要大量的工程工作，并且许多尖端技术缺乏开源工具和支持。 Bergson 是一个开源库，旨在通过提供一系列可扩展到 大语言模型 和 预训练 数据集的技术来加快该领域的进展。该库本身支持磁盘梯度存储和多节点分布式训练，并为研究人员提供生活质量工具。最后，我们介绍了三种领先的数据归因方法的第一个开源实现：MAGIC、SOURCE 和 TrackStar。该库位于 https://github.com/EleutherAI/bergson 。