论文

从论文到基准:机器健康智能中欠规范方法的Agentic、基于框架的复现

From paper to benchmark: agentic, framework-based reproduction of under-specified methods in machine health intelligence

应用与实践科学研究

摘要

工业故障预测与健康管理(PHM)为应用机器学习中一个更广泛的挑战提供了代表性案例:把已发表论文转化为可执行、可直接进入基准的实现。复现PHM中欠规范的方法尤为困难,原因在于工业数据集获取受限、预处理与评估协议报告不完整,以及严重影响性能的隐式设计选择(如窗口划分、目标构造、数据切分)。现有论文到代码系统为单篇论文生成实现,但由于假设与评估设置不一致,这些产物通常无法直接比较。我们提出“基于Agent、依托框架的PHM论文复现”:由Agent通过槽位绑定接口(slot-binding interface)将论文翻译进共享的PHM基准框架。该接口将公式与协议描述映射为结构化组件(任务定义、数据集适配器、窗口化、目标、模型与评估器),并显式记录未解决的假设。所得实现依据标准化任务契约与评估钩子进行验证,从而实现一致且可比较的基准测试。我们在16篇PHM论文上评估该方法,将框架增强型、技能型与提示型的Agentic复现与近期的无框架论文复现Agent进行比较。我们评估复现成功率、基于模型的代码评价、论文假设的框架绑定情况,以及标准化协议下跨论文基准的可比性。结果表明,将Agentic生成与共享框架耦合,使论文复现从孤立的代码合成转变为可执行、假设可感知且系统可比较的基准实现。

从论文到基准:机器健康智能中欠规范方法的Agentic、基于框架的复现:论文配图
图 1:视觉摘要。该工作流程将未指定的 PHM 论文转换为共享框架中的基准测试工件。代理摄取论文,分析指定和推断的方法元素,将它们映射到框架槽,实现已解析的配置或扩展存根,验证契约和经验行为,并返回工件或可审计的故障报告。 𝒮\mathcal{S} 标记论文指定的信息; ℐ\mathcal{I} 标记记录为假设的推断决策。