论文

Polaris:学习从检索反馈生成表描述

Polaris: Learning to Generate Table Descriptions from Retrieval Feedback

模型训练偏好优化

摘要

许多以表为中心的 NLP 任务(例如 NL2SQL)首先使用关键字搜索从大型集合中检索相关表。最近的工作使用 LLM 生成自然语言表描述来改进检索,但它们通常针对流畅性而不是检索有效性进行优化。我们提出了 Polaris,这是一个训练 LLM 直接根据检索反馈生成表格描述的系统。我们的主要见解是,现有的表检索基准已经包含此任务所需的监督:给定查询表相关性判断,我们为每个表生成多个候选描述,按 BM25 检索有效性对它们进行排名,并使用生成的偏好对通过直接偏好优化 (DPO) 微调 LLM。 Polaris 在生成之前进一步扩展缩写的表名和列名,以减少词汇不匹配。大量实验表明,Polaris 的性能优于最先进的 AutoDDG 解决方案,而且往往遥遥领先。更广泛地说,我们的结果表明,检索基准可以重新用作训练 LLM 以生成面向检索的元数据的监督。