Latent-IM：语音潜在交互管理 LLM

经典的口语对话系统通常将对话管理与响应实现分开：策略选择下一个对话动作，生成组件表达该动作。随着对话系统转向 LLM，这种分解在很大程度上消失在模型的隐藏表示中。我们询问状态估计和动作控制的 LLM 内部模拟是否可以恢复用于会话动作，例如确认、检查、查询、解释和回复。我们将移动控制表述为两个耦合问题：选择，从对话上下文中预测适当的下一步移动，以及实现，在生成时因果地产生选定的移动。我们引入 Latent-IM，这是一个内部对话管理框架，它提供了一个通用界面，用于在不同目标下选择和部署对话动作。在这里，我们使用此控件来重现人类移动选择，将平均端到端移动精度比非转向骨干网提高 12.5 个点，同时性能与 微调 相当。