查询中对身份信号的检索敏感性

密集检索器决定哪些文档到达用户以及使用它们的语言模型，但通常使用中性查询来评估它们。我们询问真实用户在查询中表达的身份信号（政治意识形态和方言）是否会偏向检索器返回的内容。我们设计了两个领域的评估：政治新闻和消费者健康问题，每个领域都配对一个受控的合成集，该合成集仅改变身份信号与自然查询。在五个密集检索器和稀疏基线中，每个检索器 (i) 检索与查询自身政治倾向一致的文章，并且 (ii) 对于以非裔美国语言 (AAL) 编写的问题比以白人主流英语 (WME) 编写的问题表现更差。两项分析将这些差距与表面词汇之外的查询身份信号联系起来：部分化总词汇不对称分数使合成差距基本完好无损，并且线性探针从检索器的查询嵌入中恢复超出标记级特征的政治倾向和方言。如果不加以解决，这种检索偏差可能会导致两极分化，并加剧 AAL 使用者已经面临的健康差异。代码可在 https://github.com/Andrewtcr/bias-ret. 获取