论文

通用激活语言器:跨模型激活解释的统一框架

Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation

模型评测模型行为与机制分析

摘要

激活语言化解释了自然语言中的隐藏表示,但现有方法大多仅限于自我解释,其中每个模型仅解释其自己的激活。我们引入了通用激活语言器(UAV),这是一个使用共享解码器来解释异构捐赠者模型激活的框架。 UAV 学习一个轻量级适配器,将捐赠者激活转换为解码器嵌入空间中的软词元,并通过重用冻结的解码器端 LoRA 进一步支持仅适配器传输,同时仅为另一个捐赠者训练新适配器。在分类、事实检索和要点总结方面,无人机凭借强大的自我解释基线保持竞争力,同时实现跨模型家族和规模的跨模型语言表达。消融表明,解码器端调整主要改善任务行为,而适配器提供忠实解释所需的基于激活的事实和语义信息。代码和数据可在 https://github.com/hy-zhao23/ActExp 获取。