ProactiveLLM：学习流媒体主动交互 大语言模型

标准 大语言模型 (LLM) 遵循读取然后生成范例，导致不必要的延迟和计算。流 LLM 通过在接收输入时生成来缓解此问题，但仍难以决定何时与流交互。现有方法要么硬编码交互计时，要么依赖昂贵的外部对齐信号，例如计时标签、推理轨迹或更强大的教师。在本文中，我们提出了ProactiveLLM，它通过利用模型的内生状态来指导交互决策来实现主动交互。该模型首先通过两种互补的训练机制学习从部分输入中感知语义充分性：基于掩码的流建模和同步特权自蒸馏（SPSD）。前者在训练期间对输入应用单调随机屏蔽，模拟逐步显示的流输入，并使模型能够从部分输入视图中学习局部语义依赖关系。后者将部分上下文的学生视图与由同一演化模型生成的全上下文教师视图对齐，允许优先的全上下文证据在不完整的观察下指导学生的理解。总之，这些机制无需外部教师或注释即可诱导内源性充足性线索，为不同决策头的即插即用集成提供了通用基础。对文本和语音流任务的广泛评估证实，ProactiveLLM 在保持质量的同时显着减少了交互延迟，验证了其动态和主动交互的能力。代码可在 https://github.com/EIT-NLP/StreamingLLM/tree/main/ProactiveLLM 上公开获取。