AcCoRD：在真实用户偏好动态变化下评估用户与智能体协作

用户代理协作中的用户偏好很少是静态的并且预先完全指定：偏好在交互过程中形成、显示、调整和放松。评估用户代理协作的现有基准几乎完全专注于解决未指定的偏好，因此无法捕获现实世界交互的更丰富的动态。我们引入了 AccoRD，这是一个用户代理协作基准，要求代理处理两个领域的不同用户偏好动态：在线购物和旅行计划。我们在两种提示策略下评估了五个前沿LLM：普通的 ReAct 和不确定性引导的变体，该变体提示模型识别和解决用户偏好的模糊性。我们的结果表明，前沿模型可以处理规​​格不足的情况，但很难满足交互过程中出现或演变的偏好，并且需要更复杂的不确定性建模。此外，仅靠提示无法引起所需的不确定性识别。我们发布 AccoRD 作为开发代理的资源，可以驾驭现实世界用户偏好的全部复杂性。