表格数据的对话任务消歧：泄漏感知公式、基准套件和培训

表格数据上的会话任务消歧使用对话来解决有关用户预期任务的缺失信息，然后再通过表格或数据库生成解决方案。现有的评估和培训缺乏泄漏感知基础。任务的成功混合了代理的消歧和解决方案生成能力，并且还可以反映预言泄漏，即用户模拟器揭示的信息超出了真实用户的信息。现有数据集还缺乏歧义和访问边界的共享表示。我们引入了模糊可验证任务的概念，它将模糊性和解决方案形式化，将代理分解为询问策略和解决方案策略，将环境分解为预言机和验证者。该框架提供了评估任务消歧与解决方案生成分开的基线和指标、预言机泄漏的正式定义、无判断泄漏诊断以及询问策略的培训目标。我们使用 AmbiTab 实例化文本到 SQL 的框架，AmbiTab 是一个基准套件，统一了六个模糊性 通用表示下的数据集指定代理、预言机和验证者可以访问的内容。我们评估澄清策略和预言泄漏，并通过强化学习训练询问策略。经过训练的询问者改进了我们在所有六个数据集上的消歧指标以及在五个数据集上的任务成功率，并且我们的泄漏诊断测量了训练如何影响预言机泄漏。