论文

经运行时监控防止多智能体AI中的错误传播

Preventing Error Propagation in Multi-Agent AI through Runtime Monitoring

智能体系统Agent 协作Agent Harness

摘要

多智能体AI系统可通过让不同语言模型交换推理踪迹、修订初始预测并支持最终决策来改进答案选择。但这种沟通也可能引入可靠性风险:一个智能体的推理可纠正另一智能体的错误——也可能误导原本正确的智能体。本文经推理交换与运行时答案修订研究可靠的多智能体AI沟通。我们开发框架:智能体先独立回答多选题——然后共享推理踪迹并修订决策。我们开展数值实验——评估该过程是否提升准确率、产生多于负向的答案转移——并在网络安全、网络与通用知识等域保持有效。结果帮助识别多智能体推理何时改进可靠性——何时可能传播错误。

经运行时监控防止多智能体AI中的错误传播:论文配图
图 1:两个代理通信中的漏洞示例。代理 1 根据不完整的证据生成可信答案,代理 2 在表面验证步骤后接受它,从而允许不受支持的声明传播到最终响应。事实上,除非医疗保健专业人士处方或建议,否则一般不建议日常使用阿司匹林。