论文
自主科学代理以人工制品为中心的声明感知可观测性
Artifact-centered Claim-aware Observability for Autonomous Scientific Agents
摘要
现在,自主科学代理越来越多地提出想法、编写代码、运行实验、分析结果,甚至起草论文。观察和审计这些代理是必要的,但记录每个模型调用还不够,科学家还需要检查系统产生的工件和声明及其关系。这是因为科学代理系统中的故障通常分布在多个对象上。手稿声明可能会引用错误的证据,搜索过程可能会选择退化的候选者,实验室新颖性声明可能取决于未声明的规则,或多代理计划可能会在没有明显触发的情况下发生变化。现有的追踪、实验追踪和档案来源工具很有价值,但它们的原生对象并不能使这些科学审计关系成为一流的。我们认为,自主科学系统应该发出可移植的、声明感知的工件谱系作为最低审计层。我们提出了一个围绕个人、操作员、健身记录、血统、档案、跑步、流和转向命令组织的紧凑的可观察性配置文件。在这个档案中,科学主张是具有明确证据约束力和验证记录的普通个人。该配置文件旨在作为补充当前遥测和来源标准的语义层。执行详细信息可以保留在 OpenTelemetry 中。最终包可以导出到 PROV-O 或 RO-Crate 标准。