MIST：面向智能家居的多模态语音工具调用对话助手

物理世界中物联网设备的增加，要求语音接口能够处理复杂用户体验。现代 LLM 虽已展现强工具使用能力，但现实物联网设备建模仍是困难且研究不足的问题，需要同时处理时空约束、语音输入、动态状态追踪及混合主动交互模式。论文提出 MIST，多模态交互式语音工具调用数据集，包含围绕物联网设备的合成多轮语音驱动代码生成任务。评测发现，开放权重与闭源多模态 LLM 在 MIST 上存在显著差距，前沿闭源模型也仍有较大改进空间。论文公开 MIST 与可扩展数据生成框架，方便构建相关数据集，促进能推理物理世界约束的混合主动语音助手研究。