通过二次嵌入的位置感知语言模型

基于 Transformer 的预训练语言模型在广泛的 NLP 任务中实现了强大的性能，但在编码地理位置语义方面仍然受到限制，导致地名和空间实体的表示不理想。在这项工作中，我们提出了一种轻量级的、与模型无关的方法，用于将地理空间意识注入到预训练的嵌入中，而无需修改标记器或需要昂贵的重新训练。我们的方法通过将位置名称与其相应的纬度和经度相结合，用结构化地理信号增强输入表示，并采用以位置为中心的掩码来更好地将文本表示与现实世界的空间关系对齐。这种设计允许模型结合地理空间上下文，同时保留现有的语义和句法知识。实验结果表明，在地理空间对齐方面取得了显着改进，同时在标准 NLP 基准（例如 GLUE）上保持了可比较的性能。该方法计算效率高，只需要几分钟的额外训练，并且可以跨多个模型架构和规模进行推广。