喜欢：具有潜在迭代状态头的 LLM 回归

我们提出了 RELISH（带有潜在迭代状态头的回归），这是一种新颖的轻量级架构，专为使用 大语言模型 进行文本回归而设计。 RELISH 不是将数字目标解码为文本或聚合多个生成的输出，而是直接从冻结的 LLM 表示预测标量值，方法是通过 词元级 表示的交叉注意力迭代地细化学习的潜在状态，然后使用线性回归器将最终状态映射到点估计。在六个数据集、四个 LLM 主干和两个 LLM 训练方案中，RELISH 始终优于所有三个主要 LLM 回归系列的先前基线，包括自回归解码、回归感知推理和现有的预测头方法。尽管取得了这些成果，RELISH 仍然具有很高的参数效率，在冻结的 LLM 主干上仅需要 $\sim$3.4-3.7M 可训练参数（仅 0.01-0.04$\%$ 额外开销），远低于随模型大小增长的基于 LoRA 的替代方案（0.26-0.42$\%$）。我们的代码可在 https://github.com/SamSoup/RELISH 获取。