论文
完成任务还不够:累积挑战下的Agent韧性与体谅式参与
Finishing the Task Is Not Enough: Evaluating Agent Resilience and Considerate Participation under Accumulating Challenge
摘要
生成式AI智能体的持续部署需要超越孤立任务成功:在反复交互、条件变化及共享工作中的人员依赖下,尤其当技术、人际和运行干扰不断积累时,仍需保持有用。我们提出运行韧性和体谅式参与两个互补维度:前者关注工作受阻后如何恢复、保留进度并表达限制,后者关注适应过程如何顾及受影响人员、角色边界及周围工作流。但累积挑战下的两者仍缺乏研究。我们在两个模型、十二项由利益相关方提出的任务上,研究轻、中、重挑战下120条模拟医疗轨迹,比较文本行动计划、提示诱导的内部评估,以及结构化工作负荷和情感量化报告。运行韧性方面,智能体由自主恢复转向更多依赖人员,结构化报告中的工作量和负面情绪增加,却很少在文本回答表达压力。体谅式参与方面,适应从任务本身扩展至重新界定任务、关注他人、调整角色及更广协调,行动与内部评估呈不同模式。由此提出坚持、注意力、角色边界、状态披露和升级五类部署困境,需利益相关方明确要求,并讨论对学习、情境评估及具身适应的技术启示。