面向治控智能体的定势转换行为测试

当可靠工具在会话进行中悄悄变化时，LLM智能体的工具选择会怎样？我们从认知心理学借用定势转换（set-shifting）概念，研究智能体对隐藏可靠性变化的适应能力。我们的认知测试为LLM智能体挂载冗余工具与技能库——许多工具解同一任务但隐藏可靠性不同；用分支调度在环境中移动可靠工具组并与稳定对照比较，从而隔离每次移动对智能体行为的影响。我们在配备治控的LLM面板上开展研究，显示同一组移动在不同模型上引出不同行为：一些模型在几轮内锁定固定套路，另一些持续变化。能力较弱的模型常漏掉可靠工具组，前沿模型则让它与其他组并用。我们引入一套度量量化可靠性移动后的智能体行为。虽然策略提示在部分受测模型上实质改变行为，但发现凸显：当变化发生在间接可观察的上下文中时，智能体是脆弱的。