论文

ShadowMiner v1 - 关于实施和测量问题与假设发现引擎的经验报告

ShadowMiner v1 - An Experience Report on Implementing and Measuring a Problem-and-Hypothesis Discovery Engine

应用与实践科学研究

摘要

ShadowMiner v1 是一个自动发现研究问题并从人工智能论文中生成假设的系统。这是一个九级管道。它将文档构建成知识图并发现其中的图差距——研究中的结构盲点。这些图形间隙包含在LLM生成提示中。然后,通过检查现有研究是否已涵盖该假设、对其质量进行评分以及检查其所依赖的事实是否准确地从其来源中提取来验证每个生成的假设。本报告并未提出新一代或评估技术。它描述了我们实施和应用之前工作中的想法的经验,并衡量每个想法是否真正做出了贡献。

ShadowMiner v1 - 关于实施和测量问题与假设发现引擎的经验报告的原论文方法或结果图
图 1:九阶段流程,从文档重要性重新排序到引用忠实度检查。第 2、6、8 和 9 阶段始终调用LLM;在标准化过程中,阶段 3 和阶段 4 仅部分调用LLM;其余的都是基于规则或嵌入的。