超越文本：验证特工撰写的论文是否有其工件的支持

大型语言模型智能体越来越有能力自主进行研究，生成研究文档以及表面上支持它们的代码和实验。然而，所报告的发现是否得到相应实施和执行证据的一致支持仍然很大程度上尚未得到探索：现有的审查实践主要评估文本质量，无法可靠地识别硬编码指标、未实施的方法或不受支持的实验结果等不一致之处。我们提出了 ReAgent，这是一个自动审计框架，用于评估代理生成的研究文档与其相关存储库之间的一致性。 ReAgent 根据研究文档构建科学主张的结构化表示，并使用它们来指导存储库分析和证据收集。静态审计检查所声明的方法、实现和实验配置是否一致地反映在存储库中，而动态审计则执行相关实验并收集执行证据以评估实证结果。通过将静态分析与动态证据相结合，ReAgent 识别出仅从任一角度来看可能隐藏的不一致之处，例如在偏离所声称的方法的情况下重现报告数据的实验。收集的证据和审计决策被组织成结构化的存储库级审计报告，从而实现透明的证据可追溯性。我们根据代理生成的研究文档（存储库对）手动策划的基准来评估 ReAgent，并将其与代表性的静态和基于复制的基线进行比较。实验结果表明，ReAgent 可以有效识别报告的研究结果与其支持存储库证据之间的不一致之处。