利益相关者协会中的文本嵌入基础

文本嵌入广泛用于分析大型复杂文本语料库。然而，尚不清楚嵌入是否捕获与使用它们的人类专家相同的语义距离。确保嵌入表示和人类意图之间的一致性对于有效分析至关重要。我们提出了利益相关者扎根练习，这是一种使专家关联明确并使嵌入模型扎根于人类理解的方法。在我们关于丹麦政策问题的主要案例研究中，我们发现神经文本嵌入的可靠性远低于人类专家（19-26 pp 差距），并且这种偏差会传播到下游聚类性能（Spearman $ρ=0.9$ 在练习排名和聚类质量之间）。对美国联邦人工智能用例的二次研究使用数字协议和不同的专家社区，用英语复制了这一差距（16pp）——证明这一差距不是单一工具或领域的产物。利益相关者基础练习提供了一种实用的方法来评估嵌入模型是否捕获了对领域专家最重要的语义区别。