论文

迈向表格推理的柏拉图式表示:置换不变检索的基础

Towards Platonic Representation for Table Reasoning: A Foundation for Permutation-Invariant Retrieval

上下文与知识检索增强

摘要

历史上的表格表示学习(TRL)方法大多沿用了自然语言处理(NLP)的序列化范式。我们认为,这种对表格的线性化丢弃了其本质的几何与关系结构,造成了对布局置换脆弱的表示。本文提出针对表格的柏拉图表示假设(PRH),主张用于表格推理的语义鲁棒潜在空间必须具有内在的置换不变性(PI)。为支撑该假设,我们首先对表格推理任务进行回顾性分析,凸显了损害结构完整性的普遍序列化偏置。随后,我们提出一个诊断该偏置的形式化框架,引入两个基于中心核对齐(CKA)的原则性指标:(i) PI,度量完全结构错排下的嵌入漂移;(ii) rho,一个基于Spearman的指标,追踪随结构信息逐步恢复、潜在结构向规范形式的收敛。我们的实证分析量化了现代大语言模型(LLM)中一个预期中的缺陷:即使是轻微的布局置换也会在其表格嵌入中引发显著且不成比例的语义偏移。这暴露了RAG系统的一个根本脆弱性:表格检索变得对依赖布局的噪声脆弱,而非对语义内容脆弱。作为回应,我们提出一种新颖的、结构感知的TRL编码器架构,显式强制执行“单元格-表头对齐”这一认知原则。该模型展现出更优的几何稳定性,并向PI理想靠拢。我们的工作既提供了对线性化表格编码器的基础性批判,也为语义稳定、置换不变的检索提供了理论支架,为信息系统中的表格推理开辟了新方向。

迈向表格推理的柏拉图式表示:置换不变检索的基础:论文配图
图 1. 表嵌入中的排列不变性和 IR 中的预期长期影响范式转变的柏拉图式观点。左侧部分说明了“柏拉图式表嵌入”的理论概念,研究原始输入表及其结构转置的对应表(行和列交换)是否可以通过将模型嵌入到一致的、语义不变的潜在空间中来投影。 t-SNE 可视化和它们之间的问号突出了有关这些嵌入空间在不同表表示中的对齐的核心研究问题。右图描绘了可以基于这种强大的嵌入构建的预期下游应用程序。顶部部分显示了一个“在线表问答”系统,该系统使用单元嵌入和最近邻搜索来直接回答用户查询,而底部部分概述了一个“以表为中心的 RAG 应用程序”,该应用程序利用表向量执行 RAG 任务。