作为概念领域的文本语料库：黑盒幻觉和新颖性测量

我们引入文本语料库的 \textbf{概念场}：具有逐点不确定性的局部漂移场，根据连续句子之间的增量在句子嵌入空间中估计。给定一个候选句子转换，我们通过 $z$ 对其与场的一致性进行评分，$z$ 是观察到的增量与场的局部高斯估计之间的平均绝对 z 距离。该分数是黑盒的（没有模型内部）、可归因于语料库的（每个分数都追溯到附近的语料库句子），并且允许在局部高斯近似下进行概率驱动的解释。我们通过引入 \textbf{向量序列数据库 (VSDB)} 来支持计算，该数据库将嵌入以及序列位置和下一个增量元数据存储在一起。我们在两个大规模环境中评估了这种方法：对美国联邦法规的幻觉式扎根检测，以及对古腾堡项目的新颖性检测，其中我们展示了概念字段在扎根/非扎根/不确定分类政策下实现了强大的选择性分类性能。与以检索为中心的基线不同，两个域中产生的覆盖风险行为相似，支持标准化偏差分数的一定程度的跨域稳定性。我们还概述了在密集集群上计算的概念场的散度和旋度如何呈现定性有意义的语义模式（逻辑源、汇和隐含主题），我们将其作为假设生成而不是作为定量结果提供。 Concept Fields 提供快速、轻量级且可解释的信号，以实现证据一致性和新颖性，与 LLM 作为判断器和白盒检测器互补。