论文
通过表征稳定性提高表格检索的鲁棒性
Improving Robustness of Tabular Retrieval via Representational Stability
摘要
基于 Transformer 的表检索系统将结构化表扁平化为标记序列,即使表语义保持不变,检索也会对序列化的选择敏感。我们表明,语义上等效的序列化,例如 $\texttt{csv}$、$\texttt{tsv}$、$\texttt{html}$、$\texttt{markdown}$ 和 $\texttt{ddl}$,可以在多个基准测试和 检索器 系列中产生截然不同的嵌入和检索结果。为了解决这种不稳定性,我们将序列化嵌入视为共享语义信号的噪声视图,并使用其质心作为规范的目标表示。我们表明,质心平均抑制了特定于格式的变化,并且当格式引起的移位在表之间不同时可以恢复不同序列化所共有的语义内容。根据经验,在 $\texttt{MPNet}$、$\texttt{BGE-M3}$、$\texttt{ReasonIR}$ 和 $\texttt{SPLADE}$ 的聚合成对比较中,质心表示优于单个格式。我们进一步在冻结编码器之上引入了一个轻量级残差瓶颈适配器,该适配器将单序列化嵌入映射到质心目标,同时保留方差并强制执行协方差正则化。该适配器提高了多个密集 检索器 的鲁棒性,尽管增益取决于模型并且对于稀疏词汇检索较弱。这些结果将序列化敏感性确定为检索方差的主要来源,并显示了对序列化不变表检索进行事后几何校正的前景。