具有交叉注意力层的系统提示锚定

交叉注意力提供了从选定信息源到模型计算的专用路线，但该路线插入位置的影响仍未得到充分研究。当源是特权系统提示跨度时，我们研究这个问题。我们在系统提示和文本之间插入交叉注意层（CAL）块，同时保持因果解码器主干冻结。对 1.5B 主干网的十个配置扫描表明，性能与任务相关，并且受布局的影响很大：后面的布局通常更有效且参数效率更高。在 8B 扩展研究中，我们仅训练总体最佳配置，并将其与参数匹配的适应基线进行比较。在评估的基准中，效果仍然取决于任务：交叉注意力改变了指令跟踪和安全行为，同时在很大程度上保留了一般任务性能。总之，这些实验将布局描述为通过交叉注意力注入系统提示信息时的一个重要设计变量。