软件工程中基于 LLM 的多代理系统的可观测性和故障注入

基于 大语言模型 的多代理系统越来越多地用于软件工程任务，但它们仍然难以在受控故障下进行检查、调试和评估。我们推出了 llmmas-otel，这是一种轻量级且与框架无关的工具，它将基于 OpenTelemetry 的分布式跟踪与软件工程工作流程中基于 LLM 的多代理系统的故障注入相结合。该工具通过跨工作流阶段、代理步骤、代理间通信、工具调用和 LLM 调用的跟踪对齐遥测来检测代理执行情况，并支持在选定交互点进行有针对性的故障注入。这使得能够以可重现的方式比较基线和错误执行，并通过对齐的跟踪和运行工件检查效果。我们在最小的演示工作流程和用于软件开发的真实的基于 LLM 的多代理系统上描述了该工具的动机、架构、实现、当前功能和初始验证。