CONE：保留单位与变量语义的复杂数值数据嵌入

大型预训练模型（LM）和大型语言模型（LLM）通常擅长捕捉语言语义与上下文关系。然而，这些模型在涉及数字的任务上难以保持最佳性能。简单地把数值或结构化数据当作词条处理是不够的——它们的语义必须被模型充分理解并编码。本文提出CONE，一个混合Transformer编码器预训练模型，将数字、区间和高斯分布编码到保持距离的嵌入向量空间中。我们提出一种新颖的复合嵌入构造算法，将数值、区间或高斯分布与其关联的单位及属性名整合在一起，以精确捕捉其复杂语义。我们在跨网络、医疗、金融和政府等多个领域的大规模数据集上进行了广泛的实验评估，验证了CONE强大的数值推理能力：在DROP上取得87.28%的F1分数，较最先进（SOTA）基线F1提升高达9.37%，并以高达25%的Recall@10增益显著超越主要SOTA模型。