论文
主题相近不等于研究问题一致:文本嵌入的引用社区评测
Topic Is Not Agenda: A Citation-Community Audit of Text Embeddings
摘要
向量搜索和 RAG 常假设文本嵌入的余弦相似性反映概念关联,论文检验这一假设的失效位置。研究构建358万篇科学论文的增强引用图,用 Leiden CPM 分为子领域 L1 和各子领域内部的具体研究问题 L2 两种粒度。Gemini、Qwen3-8B、Qwen3-0.6B 和 SPECTER2 四种嵌入在 L1 上表现尚可,前10项检索结果的同类比例为45%—52%,但在 L2 上只有15%—21%与查询属于同一研究问题,约每10篇有8篇偏离。该现象覆盖八个科学领域及全部四种模型,接受引文对比训练的 SPECTER2 也未解决问题,表现最弱。作为诊断,研究检验该引用图能否直接提供检索信号。在80个精筛研究问题查询上,简单引文计数重排序在 LLM 扩展布尔检索之后取得57.7%的 L2 top-1,在 BM25 之后取得59.6%,比最佳余弦检索 Gemini 的50.6%高约9个百分点,比单独 BM25 的39.3%高约20个百分点。结果显示,引用图含有部分被单向量嵌入遗漏的研究问题匹配信号,将单向量检索的理论限制与科学 RAG 的具体失败联系起来。