从规则生成视角探究更可解释、免划分的LLM组合性估计

摘要

组合泛化测试常被用来估计LLM的组合性。然而，此类测试存在如下局限：(1) 只关注输出结果，而不考虑LLM对样本组合性的理解，造成可解释性缺陷；(2) 依赖数据集划分来构造包含训练集中未见组合的测试集，因而存在组合泄露问题。在本工作中，我们提出一种新颖的规则生成视角来估计LLM的组合性。该视角要求LLM生成一个程序作为数据集映射的规则，并使用基于复杂度的理论给出LLM组合性的估计。该视角弥补了组合泛化测试的局限，为分析LLM的组合性刻画提供了新途径。我们基于该视角在string-to-grid任务上对现有先进LLM开展实验与分析，发现LLM表现出多样的组合性刻画与组合性缺陷。

从规则生成视角探究更可解释、免划分的LLM组合性估计：论文配图 — 图 1：字符串到网格任务的组合泛化测试和规则生成视角的图示。组合泛化测试（左）对数据集进行分区，并验证模型的输出对于训练集中未出现的组合是否正确。规则生成视角（右）要求模型生成描述数据集的规则，并根据这些规则提供组合性估计。