LLM 查询模拟中的“知识诅咒”：用于跟踪应答端入侵的概念来源

LLM 生成的搜索查询广泛用于增强 IR 评估，但它们可能包含预先假定答案端文档知识的概念，从而违反了搜索前用户的信息访问边界。现有的验证指标，包括重叠、多样性和有效性，无法区分罕见的人尾变异和候选答案端入侵。我们引入了概念起源，这是一个框架，它将查询概念分配给背景故事支持的、以人为中心的、以人为中心的和候选答案侧的区域，从而操作了仅靠检索指标无法检测到的边界。将概念起源应用于 100 个 UQV100 主题、8 个 LLM 和 5 个提示条件以及两个提取管道的 77,004 个查询，我们在五个条件均值上获得了 1.0 的跨管道词元 HCIR Spearman rho。候选答案方概念占非通用概念的 7.40%，出现在 100 个主题中的 97 个中，其中主题解释了大约 67% 的方差。人工验证产生了 68.2% 的宽松精度，揭示了两种机制：知识入侵（45.5%）和部署入侵（45.0%）。诊断探针显示出不成比例的局部检索效应，与随机删除的 d = -0.34 相比，删除效应大小 d = -0.47，但这些概念解释的总评估方差不到 2%。因此，概念起源充当边界合规性诊断而不是评估转变预测器。测试条件下，无提示条件消除入侵；生成后的概念来源选择实现了 99% 的消除。