LATTE：预测个性化 LLM 一代的同伴锚定偏好轨迹

使用冻结的 大语言模型 进行个性化生成需要既紧凑又最新的调节信号。现有的个性化方法通常以文本形式检索或总结用户历史，或将其压缩为静态潜在配置文件和软提示。这些方法很有效，但它们将用户过去的行为视为聚合配置文件，因此将稳定的身份、最近的漂移和项目内容混合在同一表示中。我们提出了 LAtent 轨迹跟踪和外推（LATTE），这是一个将个性化表示为预测同伴锚定相对偏好状态的框架。对于每个历史会话，LATTE 都会减去由对同一项目做出响应的可比用户形成的时间屏蔽基线，从而生成一个状态来衡量目标用户与共享项目上下文下的其他用户的差异。然后，轻量级序列预测器预测该轨迹中的下一个状态，状态到词元桥将预测注入到通过单个锚定软词元调整的冻结指令 LLM 中。我们提供了一个潜在因素分析，显示同行锚定何时取消共享项目变化，以及为什么时间预测会权衡过时的平均值与嘈杂的近期状态。 Amazon Reviews 2023 和 MemoryCD 上的实验表明，LATTE 的性能始终优于检索、摘要内存、静态潜在配置文件、差异感知潜在配置文件和软提示压缩基线。在 Amazon Reviews 2023 上，LATTE 将平均 ROUGE-L 从静态潜在配置文件的 0.219 和最强附加潜在压缩基线的 0.245 提高到 0.259。额外的成对比较和诊断分析表明，改进主要归功于预测用户特定的轨迹信息，而不仅仅是添加软提示界面。