论文

PEC-Home:智能家居渐进式省略命令解读

PEC-Home: Interpretation of Progressively Elliptical Commands in Smart Homes

模型评测基准与评测资源

摘要

大语言模型 (LLM) 的最新进展为家庭助理提供了自然语言交互功能。然而,当前的助手忽视了随着共享上下文的积累,人类对话中发生的渐进性遗漏,导致更省略的表达方式以实现有效的沟通。因此,当前的助手仍然难以准确解释此类省略表达式,这限制了它们在现实世界应用中的有效性。在实际的智能家居场景中,助理面临着省略命令带来的两大挑战:(1)多个用户之间不同的环境期望导致的指称模糊; (2) 由于用户偏好随着时间的推移或环境的变化而产生的意图模糊性。为了应对这些挑战,我们推出了 PEC-Home,这是第一个专门为解释智能家居中渐进式省略式指令而设计的模拟家庭数据集。对各种 LLM(包括 GPT-4o)的广泛实验表明,现有的家庭助理很难仅基于省略命令来执行用户意图的操作。即使配备了用于存储和检索用户对话历史记录的工具,执行精度仍然低于使用完整命令实现的精度。}。