论文
CircuitKIT:用于机制解释的电路发现、评估和应用工具包
CircuitKIT : Circuit Discovery, Evaluation, and Application Toolkit for Mechanistic Interpretability
摘要
电路分析不仅可以支持模型解释,还可以支持下游干预,例如修剪、编辑、转向和选择性 微调。然而,目前进行此类分析需要将发现、评估和干预的单独实现缝合在一起,以及手动编写许多发现方法所需的对比提示。这种碎片化使得方法难以比较,并限制了它们在规范任务之外的应用。我们引入了 CircuitKIT,这是一个可获取源代码的库,它通过类型化、可序列化的表示形式连接电路分析工作流程。 CircuitKIT 提供了一套发现算法、用于将结构化数据映射到发现任务的声明式接口、补充电路诊断和下游应用模块。这些组件共同提供了用于进行和比较电路分析的通用基础设施。该库、示例、笔记本和文档在 https://github.com/Lexsi-Labs/CircuitKIT 上发布。