DRIP-R：零售领域现实世界政策模糊性下的决策和推理基准

基于 LLM 的代理越来越多地部署用于现实世界域中的常规但重要的任务，其中它们的行为由本质上不明确的域策略控制，这些域策略允许多种有效的解释。尽管实践中普遍存在这种模糊性，但现有的代理基准在很大程度上假设了明确的​​、明确的政策，从而留下了严重的评估差距。我们引入了 DRIP-R，这是一个基准，它系统地利用现实世界零售政策的模糊性来构建不存在单一正确解决方案的场景。 DRIP-R 包括一组精心策划的政策模糊的退货场景，搭配真实的客户角色、具有工具调用功能的全双工对话模拟以及涵盖政策遵守、对话质量、行为一致性和解决质量的多法官评估框架。我们的实验表明，前沿模型在相同的政策模糊场景上从根本上存在分歧，这证实了模糊性对 LLM 决策构成了真正的系统性挑战。