无限视野中的有界状态：用于流对话上的临时回忆的主动分层内存

现实世界的对话通常以无限的流的形式展开。因此，它需要有界状态记忆机制才能在无限范围内运行。然而，现有的“读后思考”记忆从根本上与这种设置不一致，因为它无法在流展开时支持临时记忆回忆。为了探索这一挑战，我们引入了 \textbf{STEM-Bench}，这是 \textbf{ST} 扩孔 \textbf{E} 对 \textbf{M} 内存进行评估的第一个基准。它包含对话流中超过 14K 的 QA 对，用于评估无限视野约束下的感知保真度、时间推理和全局意识。 STEM-Bench 的初步分析表明了一个关键的 \textit{保真度-效率困境}：基于检索的方法使用片段上下文，而全上下文模型会产生无限的延迟。为了解决这个问题，我们提出了 \textbf{ProStream}，一种用于流式对话的主动分层内存框架。它通过使用多粒度蒸馏对连续流进行推理，实现按需记忆调用。此外，它采用自适应时空优化来根据预期效用动态优化保留。它支持有界知识状态，以降低推理延迟，而不会牺牲推理保真度。实验表明，ProStream 在准确性和效率方面均优于基线。