YIELD：信息获取代理的大规模数据集和评估框架

大多数会话代理 (CA) 旨在通过用户驱动的交互来满足用户需求。然而，许多现实世界的环境，例如学术采访、司法程序和新闻调查，涉及更广泛的机构决策过程，并且需要能够从用户那里获取信息的代理。在本文中，我们介绍了信息获取代理（IEA），其中代理的目标是从用户那里获取信息以支持代理的机构或面向任务的目标。为了能够对此环境进行系统研究，我们提出了 YIELD，这是一个包含 2,281 个符合伦理要求采集的人与人对话的 2600 万词元数据集。此外，我们将信息获取形式化为有限时域POMDP，并提出了适合 IEA 的新指标。在多个基础LLM 上进行的试点实验表明，YIELD 训练提高了它们与真实启发行为的一致性，并且人类评估证实了这些结果。我们在 CC BY 4.0 下发布 YIELD。数据集、项目代码、评估工具和微调模型适配器可从以下网址获取：https://github.com/infosenselab/yield。