快速且忠实的函数向量

函数向量 (FV) 是在上下文学习期间引出的任务表示，可用于引导 大语言模型 (LLM)。然而，其配方中的设计选择仍未得到充分探索。在这项工作中，我们研究了不同 FV 定义对两个自由度指令的影响：注意力头选择和转向。对于头部选择，使用基于梯度的归因和分层相关性传播 (LRP) 可以显着提高效率和准确性。对于 FV 转向，与简单聚合相比，以分布式方式应用它可以产生更高的精度。我们的代码是公开的。