APM：使用任意偏好映射评估 LLM 中的风格个性化

典型的 LLM 响应倾向于遵循默认样式，即使用户通常在语气、冗长和正式方面有不同的偏好，但他们在提示中没有明确说明。评估个性化方法是否能够适应这些隐含的偏好是具有挑战性的，因为用户通常提供提示而不是参考响应，风格偏好实际上无法验证，并且无参考的 LLM 法官可能会将个性化与一般响应质量混为一谈。为了应对这些挑战，我们引入了任意偏好映射（APM）基准，它通过隐藏的随机映射 $\mathbf{C}$ 将用户属性（例如热情）与响应原则（例如有说服力）分离，该映射将用户属性映射到有关响应特征的偏好。由于 $\mathbf{C}$ 不包含语义内容并且在运行中重新采样，因此模型无法利用刻板关联，并且必须从对话历史记录中推断偏好。使用这种公正的评估方法，我们采用检索增强、提示优化和路由个性化方法，并在 Llama-3.1-8B 和 Qwen-3.5-27B 上对其进行评估。我们的结果表明，路由是最可靠的方法，而 RAG 只能通过更强大的基础 LLM 进行改进，而软提示优化无法比非个性化基线显着改进。我们的广泛评估表明，在这种现实环境中，个性化仍然具有挑战性，但我们采用的方法显示出希望。