论文
RINI:核对文献贡献,修正科研提案的新颖性声明
RINI: Seeing the Prior Is Not Enough
摘要
研究提案可以正确描述已建立的机制,同时声称要引入它。我们研究提供早期论文是否可以纠正此类贡献声明。三个对照实验比较了贡献先验和相同主题控制生成的提案。提供先前的产量并没有明显减少无支持的新颖性。对 175 个可解释的公开提案的人工分析发现,137 个提案认识到先验的相关性,但 61 个提案正确地归因于既定的贡献。在 71 个提议的剩余区别中,有 37 个包含在相同的先验中。我们引入研究想法新颖性检查(RINI),它根据证据审核贡献声明,检查剩余的区别,并应用本地修订。五位人工注释者通过三种方法评估 1,080 个原始修订对。在同样 240 份被判定需要修正的原件中,自我修改的成功修复率为 11.7%,检索和修改的成功修复率为 39.1%,RINI 的成功修复率为 72.2%,研究任务的权重相等。比同证据直接修订提高了 33.0 个百分点。修改后的提案保留了其研究问题和技术方法。当使用文献生成和修改研究计划时,这些结果激发了明确的贡献归因。