OASIS：用于流视频推理的按需分层事件存储器

流视频推理需要模型在历史无限增长而有意义的证据仍然稀缺的环境中运行。在这样的景观中，相关信号就像一片绿洲——很小，很关键，很容易在冗余的沙漠中迷失。扩大记忆力只会让沙漠变宽；过度的压缩使绿洲干涸。真正的困难在于发现去哪里看，而不是要记住多少。因此，我们引入了 OASIS，这是一种用于流媒体视频推理的新颖框架，它通过结构化、按需检索来应对这一挑战。它将流历史组织成分层事件，并首先作为受控细化短上下文推理来执行推理，然后仅在出现不确定性时才进行基于语义的检索。由于检索是由高级意图驱动的，而不是嵌入相似性，因此检索到的记忆更加准确且噪音更少。此外，该机制是即插即用的 无需训练，并且可以轻松连接到不同的流式 MLLM 主干网。跨多个基准和骨干网的实验表明，OASIS 在长期准确性和组合推理方面取得了巨大进步，并且具有有限的词元成本和低请求延迟。代码可在 https://github.com/Solus-sano/OASIS 获取。