论文
AutoVerifier:使用大语言模型的智能体式自动化验证框架
AutoVerifier: An Agentic Automated Verification Framework Using Large Language Models
摘要
科技情报(S&TI)分析需要在快速增长的文献中核查复杂技术论断,而现有方法无法弥合表层准确性与更深层次方法论有效性之间的验证鸿沟。我们提出AutoVerifier,一个基于大语言模型(LLM)的智能体框架,可在无需领域专业知识的情况下对技术论断进行端到端自动化验证。AutoVerifier将每条技术断言分解为(主语,谓语,宾语)形式的结构化论断三元组,构建知识图谱,从而支持跨越六个逐步丰富层级的结构化推理:语料库构建与摄取、实体与论断抽取、文档内验证、跨来源验证、外部信号佐证,以及最终的假设矩阵生成。我们在一个有争议的量子计算论断上演示了AutoVerifier:由不具备量子专业知识的分析师操作的该框架,自动识别出目标论文中的过度声明与指标不一致,追溯了跨来源矛盾,发现了未披露的商业利益冲突,并给出了最终评估。这些结果表明,结构化的LLM验证能够可靠地评估新兴技术的有效性与成熟度,将原始技术文档转化为可追溯、有证据支撑的情报评估。