论文
面向真实用户期望的语言模型期望对齐
Expectation Alignment of Language Models for Real-World User Expectations
摘要
大语言模型（LLM）在标准基准上表现卓越，但它们是否真正满足用户期望基本未被探索。既有评估方法依赖模型启发式、专家量规或用户仿真，无法捕捉真实人类期望的多样性与微妙性，使模型看起来称职、却与用户真正想要的错位。我们提出首个对真实世界LLM交互中用户期望的系统研究：提出一个提取语义丰富期望的原则性流程，并引入扎根于真实用户期望的基准ExpectBench。分析揭示当前LLM难以满足并预判用户希望获得什么，凸显错位的一个根本来源。基于这些观察，我们提出LENS——一个轻量的潜期望感知响应生成框架：LENS使模型内化用户期望并生成更对齐的响应，一致改善期望满足度，凸显显式建模用户期望对现实人机对齐的重要性。
