论文
CRAB-Bench：在复杂任务依赖性和人性化用户模拟下评估 LLM 代理
CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation
摘要
在实际服务场景中评估 LLM 代理需要复杂的任务依赖关系、不完善的用户行为以及适应多种有效解决方案的评估。我们引入 CRAB-Bench（基于约束的现实代理基准）和 RUSE（现实用户模拟引擎）来解决这一差距。 CRAB-Bench 通过具有结构化干扰因素的多个相互依赖实体的约束图生成任务，要求代理对数千个误导性候选者进行仔细推理，其中只有一小部分解决方案是有效的。 RUSE 用基于人类行为研究的现实用户取代了合作式、类似模板的模拟器，并在不同的角色和四个行为维度上进行了实例化。对四个前沿 LLM 智能体的实验表明，最好的模型在 CRAB-Bench 上仅达到 61% pass@1，而切换到 RUSE 会导致进一步下降高达 57%，集中在任务解决能力而不是会话质量上。信息泄露是最具破坏性的行为维度，与 RUSE 交互的智能体不太可能承认错误，而是通过隐式更正来掩盖错误。