仅知道谁写的还不够：识别洞见的贡献来源

随着 LLM 越来越多地协助科学写作和同行评审，仅仅检测文本的作者已经不够：我们需要确定谁贡献了潜在的见解。我们引入了 Insight Provenance，该任务用于识别评论见解是否源自人类、LLM 还是他们的混合贡献。我们根据 4,057 篇科学论文和 12,660 篇人工评论构建了 InsightProv-v0，模拟 LLM 与 GPT-4o、Gemini 和 DeepSeek 的不同程度的参与，并在句子级别注释出处。我们表明，在原始数据上的强劲表现可能会产生误导，因为模型利用了语言和文本作者的捷径，这些捷径在逐渐去偏见的评估下会大幅退化。因此，我们提出了一个两阶段对抗框架，可以抑制捷径信号，同时保留来源相关信息。除了检测之外，广泛的分析还揭示了使知识作者身份可识别的因素：论文基础和邻近的评论背景提供了互补的出处信号，而人类、混合和人工智能的见解在信息来源和故障模式方面存在系统性差异。最引人注目的是，人工智能洞察力主要保持接近通用或纸质提供的信息，而人类洞察力更经常引入外部知识和独立判断。这些发现表明，虽然 LLM 可以重写措辞，但想法的起源会留下更深层次、更持久的信号。