LBR：减少 大语言模型 中的长度偏差以供推荐

大语言模型 (LLM) 最近通过将推荐重新表述为 词元级 生成任务而成为推荐系统的强大支柱。尽管他们做出了承诺，但我们还是发现了一个普遍存在但尚未得到充分探索的问题：$\textit{长度偏差}$。由于项目由不同长度的文本描述表示，因此基于 LLM 的推荐系统可能会以两种方式出现系统性偏差。在输入方面，较长的项目描述在上下文中占据更多的标记，因此在用户偏好建模期间接收到不成比例的大量聚合注意力。在输出方面，基于总自回归对数似然得分的解码本质上不利于长项目。更糟糕的是，传统的长度标准化可能会引入额外的偏差，甚至降低推荐性能。为了解决这个问题，我们提出了 $\textbf{LBR}$ ($\textbf{L}$ength $\textbf{B}$ias $\textbf{R}$eduction)，一个轻量级且与模型无关的框架，用于减轻基于 LLM 的推荐中的长度偏差。 LBR 通过长度感知注意力校准来减轻输入侧偏差，该校准将与长度相关的偏移合并到注意力 logits 中以抵消注意力偏差。对于输出端，LBR 引入了有效信息长度标准化，用从前缀树的分支结构派生的信息理论长度代理代替朴素标记计数。对三个真实亚马逊数据集和两个基于 LLM 的代表性推荐器进行的大量实验表明，LBR 大大减轻了长度偏差，同时持续提高推荐准确性和公平性，而额外的训练和推理开销可以忽略不计（平均 NDCG@5 增益为 16.82%）。代码可在 https://github.com/Void-JackLee/LBR 获取。