论文

最响亮的智慧:Reddit 生成搜索的大规模审核

The Wisdom of the Loudest: A Large-Scale Audit of Generative Search on Reddit

模型评测模型行为与机制分析

摘要

在线社区的价值不仅在于答案,还在于它们所包含的经验和观点的多样性。生成搜索越来越多地介导对这种话语的访问,但对于哪些社区声音能够在检索和合成中幸存下来却知之甚少。我们使用来自 20 个寻求建议和寻求支持的社区的 10,000 个查询来审核 Reddit 答案,重复 3 次以在 1,468 万条评论中生成 30,000 个答案。我们发现,运行之间的差异主要是由检索驱动的,答案通常会结合跨社区的证据,并且选择强烈支持已经可见的顶级评论。正式和指示性语言更有可能浮出水面,而经验性声音不太可能在选择中幸存下来,并在合成过程中进一步削弱,第一人称单一语言急剧下降。这些发现表明,基于社区的生成搜索不是中立的总结,不仅应该考虑相关性和流畅性,还应该考虑出处、多样性和易读性。