论文
PULSE：用稀疏自动编码器识别示范效用特征
PULSE: Identifying Demonstration-Utility Features with Sparse Autoencoders
摘要
上下文学习对演示选择高度敏感，但大多数方法使用外部查询演示相似性来选择演示。这样的标准可能会错过特定于模型的信号：类似的演示可能会激活不同的内部功能和下游行为。我们引入了 PULSE（基于稀疏编码的配对实用程序本地化），这是一个基于 SAE 的框架，用于识别与演示实用程序相关的模型内部特征并将其用于演示选择。 PULSE 使用小型标记发现集对候选演示集进行采样，测量其在目标模型下的零样本相对效用，并根据其激活差异与效用差异的匹配情况对 SAE 特征进行评分。顶部正坐标和负坐标形成稀疏效用定位向量。我们以两种互补的方式使用这个向量：作为受控完整集排名的带符号分数，以及作为 PULSE-Retriever，它将其大小转换为特征相关性掩码以用于可扩展的池规模检索。在分类、生成和推理基准测试中，PULSE-Retriever 比最强基线分别提高了 2-3 个准确度点、0.6-0.9 BLEU-4 和 3.2 个精确匹配点，同时受控排名验证了编码预测集级实用信号的已识别特征。特征检查和跨数据集实验表明，所识别的特征捕获与任务相关的数据集条件模式，但保留部分跨数据集传输的效用信号。我们的代码可在 https://github.com/aohenuo/PULSE. 获取