H2Table：用于复杂表格推理的分层超图增强大语言模型

摘要

表在不同领域中无处不在，但对它们的推理仍然是现代大语言模型 (LLM) 的重大挑战。当前的方法通常将表线性化为序列，本质上忽略了其固有的二维和层次结构。为了解决这个问题，我们提出了 H2Table（分层超图增强表推理），这是一种新颖的框架，它将复杂的表表示为分层嵌套超图。为了处理这种表示，我们设计了一个定制的超图编码器，以促进超边（标题）和节点（单元）之间的消息传递，从而感知复杂表中它们之间的语义蕴涵关系。此外，我们引入了一组可学习的查询向量，充当轻量级桥梁，将代表性结构嵌入从编码器提取到 LLM 中。实验结果表明，我们的方法可以有效地处理具有分层嵌套标题的复杂表格问答任务。值得注意的是，在 HiTab 数据集上，在嵌套深度为 4 的高度复杂表上，H2Table 比最先进的基线平均提高了 22.88%。我们的代码位于：https://github.com/lila120/h2table。

H2Table：用于复杂表格推理的分层超图增强大语言模型：论文配图 — 图2 拟议框架的总体结构。首先,一个复杂的等级表以我们设计的等级嵌套式高压仪为模型,然后由一个等级编码器进行处理,该编码器带有四级电文传递机制,用于产生相应的结构嵌入。随后,一组自学的查询矢量通过交叉关注与这些结构嵌入发生相互作用。由此产生了固定数量的有结构意识的嵌入,最终与按顺序排列的案文合并,并输入大语言模型,以便利推理和得出正确的答案。