论文

ResearchStudio-Idea:来自ML会议结果的证据落地研究构思技能套件

ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes

智能体系统Agent Harness

摘要

大型语言模型使研究构想变得越来越容易获得,但有效的构想开发需要的不仅仅是生成候选方向。研究人员必须在当前文献中找出问题,找出有意义的瓶颈,与现有解决方案区分开来,并在实施之前评估风险。我们将 ResearchStudio-Idea 作为研究构思第一英里的可重用技能套件推出。该套件包括 Paper-Search,一种独立的多源文献搜索技能; Scoop-Check,一个独立的现有技术碰撞检查器,用于新颖性声明; IdeaSpark,一种端到端技能,将证据基础、模式引导生成、冲突检索、审计和创意卡渲染整合到一个工作流程中。 IdeaSpark 由 2021 年至 2025 年间从 ICLR、ICML 和 NeurIPS 收集的 1,947 篇机器学习会议论文组成的语料库构建,其中包括口头论文、单独跟踪的高引用子集和被拒绝的提交论文。对这些结果的分析揭示了 31 种反复出现的构思子模式,并合并为 15 种可重复使用的构思模式。每个模式都可作为结构化卡片来操作,其中包含研究背景、瓶颈类型、差异化策略、支持先例和常见故障模式。给定一个研究问题和一组证据,IdeaSpark 会评估证据准备情况,重建周围的研究背景,识别未解决的瓶颈,选择相关模式,实例化一个候选方向,检索可能存在冲突的先前工作,并执行基于结果的审核。该工作流程将可重复使用的构思模式转化为可追踪的研究提案。盲目的自动评审评估表明,IdeaSpark 始终能够产生比无技能和通用技能基线更强大的研究提案,同时保持竞争新颖性。

ResearchStudio-Idea:来自ML会议结果的证据落地研究构思技能套件:论文配图
图 2:IdeaSpark 数据到技能的工作流程。上层从 1,947 篇论文 ICLR / ICML / NeurIPS 语料库中构建可重复使用的创意资产:论文被标记结果,标准化为策略签名,挖掘为 31 个子模式,并归纳为 15 个操作模式卡。较低的区域显示了该技能在推理时如何使用这些卡片:证据基础和全文检索为瓶颈诊断、模式引导的候选生成和冲突/审计判决提供了阶段性推理循环,然后是扩展、验证和想法卡可交付成果。