论文
TACO:使用 LLM 生成任务感知列描述
TACO: Task-Aware Column Description Generation Using LLMs
摘要
生成准确且信息丰富的列描述(例如,列名称“cust_mem”的“客户会员状态”)对于表格数据上的各种下游 NLP 任务至关重要,包括 NL2SQL、表问答和实体链接。这个问题出现在企业、领域科学、政府数据门户等领域。尽管它很重要,但大多数现实世界的数据集都存在文档缺失或神秘的问题,这通常是由于缩写的列名称或特定领域的术语造成的。现有方法很大程度上依赖于单提示 大语言模型 (LLM),它面临着三个关键问题:(i) 缩写处理不一致或不正确,(ii) 幻觉或不完整的描述,以及 (iii) 阻碍下游性能的冗余或模糊性。我们提出了 TACO,一个使用 LLM 自动生成列描述的任务感知框架。 TACO 引入了一个三步管道:(1)缩写扩展,标准化列名称; (2) 描述生成,生成富含同义词和面向搜索的关键词的初始语义描述; (3) 描述修订,使用模拟的下游任务来细化这些输出。此外,我们还研究了人机交互扩展,并发布了用于实体链接和模式丰富的新评估数据集。跨公共和专有数据集的广泛实验表明,TACO 始终优于现有方法,将下游任务性能提高高达 32%。