论文

Paper Pilot:用于生成证据可追溯应用科学论文的人类在环专家系统

Paper Pilot: A Human-in-the-Loop Expert System for Evidence-Traceable Scientific Manuscript Generation in Applied Sciences

智能体系统Agent 动作执行与治理

摘要

大语言模型 (LLM) 代理越来越多地嵌入到用于文献分析、起草和评审的科学工作流程中。现有系统推进了自主发现和手稿生成,但无法解决当想法、方法、结果和主张通过人工智能辅助工作流程传播而无需强制人工批准或工件级可追溯性时出现的治理问题。本文提出了 Paper Pilot,这是一种人机循环专家系统,用于生成应用科学中证据可追溯的科学手稿。它通过稿件所有者审批门、明确的不通过标准、权利要求分类、审计日志、咨询性LLM审查和证据锁定修订控制,采用协作代理推理工程 (CARE) 方法来进行稿件开发。该框架在从想法到主张的流程中定义了八个批准门,并将基于文献的主张与基于人工制品的主张区分开来,要求报告的数字和解释保持可追溯至批准的证据;其系统提示已公开发布,可部署在 ChatGPT、Gemini、Claude 或机构 LLM 环境中。作为第一个实证验证,我们使用受控的、机械评分的基准(两篇商业LLM、真正的 arXiv 论文、没有LLM评委)来评估引文基础层:在覆盖压力下,非门控起草者捏造了高达 25% 的引用,并且从未标记出证据差距,而在 Paper Pilot 的证据锁定规则下的相同模型产生了零捏造引用,并将植入的空白作为明确的占位符浮出水面。结果基础、修订和对抗鲁棒性的初步结果表明了同样的观点。全面评估留待未来工作。 Paper Pilot 将LLM辅助写作定位为受控的人类人工智能决策支持过程,而不是完全自主的作者管道。

Paper Pilot:用于生成证据可追溯应用科学论文的人类在环专家系统:论文配图
图1 科学文稿开发试点主要工作流程。用户提供的投入和证据(研究问题、文献来源、方法、数据、结果、数字、表格和说明)输入了 " 人行道 " 、 " 证据依据 " 、 " 节 " 程序:手稿设置、 " 投入审计 " 、 " 科规划 " 、 " 证据依据的起草 " 、 " 索赔分类 " 、 " 手稿所有人批准 " 以及 " 部分发布 " 和 " 手稿装配 " ,并用 " 证据输入修订控制 " 来重新审核变更的索赔。循环会重复部分直到手稿完成。(该数字是利用加速知识发现(AKD)科学光学剂[4]生成的。 )