追踪级联：科学Agent幻觉的拓扑感知评估框架

大语言模型（LLM）代理在科学研究中日益普及，其中可靠性至关重要，而底层知识紧密交织。在这种情况下，幻觉尤其有害：在一个基础概念上的单个错误陈述可以传播到多步推理中，并彻底破坏整个轨迹。现有的幻觉基准主要在表面层次上运作，将事实隔离，并依赖于忽略这种拓扑结构的统一准确度指标。我们通过SCHEMA来填补这一差距，这是第一个证据导向、拓扑感知的幻觉评估框架，用于科学研究代理。SCHEMA自动从基准种子和文献证据中构建科学概念图，合成覆盖验证、多步推理、开放式解释和实验代码生成的图元导向任务，并使用两个互补诊断评估代理。一个轨迹幻觉管道通过拓扑加权的严重性分数审计中间推理，而一个多代理的反事实归因模块则定位选定失败的因果机制。SCHEMA揭示了幻觉集中在少数高度连接的知识中心，并且最终答案准确度与轨迹诚实性无关；模型通常通过结构性缺陷的推理达到正确的结论。这些结果表明，在高风险的科学研究应用中，最终准确度单独不足以衡量代理的可靠性，因此需要机制层面的评估，基于知识拓扑。代码可在https://github.com/circles-post/SCHEMA处获取。