从语言模型嵌入中恢复时间和地理信号

了解语言模型嵌入是否编码结构化的现实世界信息对于表示分析和信息检索都很重要。我们使用一种简单的基于投影的方法来研究时间和地理信号的这个问题，该方法直接对输出嵌入进行操作。给定一小组种子示例，该方法在嵌入空间中定义一个轴，并根据文本或实体在该轴上的投影对文本或实体进行排名。我们的方法完全是黑盒且与模型无关：它只需要嵌入，无需访问模型权重、内部激活、辅助探针或额外的训练。这使得它适用于仅通过 API 可用的现代嵌入模型，并提供了一种轻量级的方法来分析其表示空间中是否存在时间和空间维度。我们将该方法应用于时间和地理数据集，发现嵌入投影可以恢复有意义的时间和空间结构。这些结果提供了输出嵌入对与时间和空间相关的信号进行编码的证据，同时还为可解释性以及下游时间和地理信息检索任务（例如时间排序、地理排名和标记）提供了实用工具。