论文

LIFT:表解释的最后一英里 微调

LIFT: Last-Mile Fine-Tuning for Table Explicitation

模型训练监督微调与指令调优

摘要

我们提出了最后一英里 微调 或 Lift,这是一种管道,其中预训练的 大语言模型 从非结构化剪贴板文本中提取初始表,并通过微调的小语言模型(1B-24B 参数 SLM)修复提取表中的错误。在来自三个数据集的 2,596 个表的基准上,Lift 在基于树编辑距离的相似性 (TEDS) 指标上匹配或超过端到端 SLM 微调,同时只需要 1,000 个训练示例 - 它比端到端 微调 最多高 0.144 TEDS 点。我们将这种方法称为“最后一英里”微调,并表明它对于输入格式的可变性也更加稳健。与自调试和端到端 微调 方法的比较表明,当训练数据有限或在不影响准确性的情况下寻求对输入变化的鲁棒性时,最后一英里 微调 提供了一个有吸引力的选择。