Insights Generator：面向 LLM 智能体的系统化语料级轨迹诊断

LLM 智能体的故障诊断在很大程度上仍依赖人工。从业者检查少量执行轨迹样本、临时形成假设并反复迭代。这一过程会遗漏只在轨迹总体层面显现的模式，也难以扩展到单条轨迹长达数万 token 的生产语料。我们形式化定义了语料级轨迹诊断问题。给定一个执行轨迹语料，目标是产出有据可依的自然语言洞察，刻画跨轨迹组的系统性行为模式，且每条洞察都关联支持证据。我们提出 Insights Generator（IG），一个多智能体系统，通过在整个轨迹语料上提出并检验假设来回答诊断问题，产出有证据支撑的洞察报告。我们从定性与客观两个维度评估 IG，涵盖基于量规的报告评估以及实施 IG 洞察所带来的下游性能提升。使用 IG 报告的人类专家将脚手架性能较未修改的基线脚手架提升 30.4 个百分点，利用 IG 衍生洞察的编码智能体也展现一致且稳定的收益。在各基准上，IG 的侦察-调查架构产出的发现在检测覆盖面上与竞争方法相当，而领域专家认为 IG 报告在深度与证据质量上领先。