RUMBA：俄语用户记忆基准

LLM 处理长期记忆的能力变得越来越重要，但现有基准仍然以英语为中心，依赖于聚合检索指标，无法捕获长期上下文、时间信息和推理之间的交互。为了解决这个问题，我们引入了 RUMBA（俄罗斯用户记忆基准测试）——一种长期会话记忆的新基准，它提供了以记忆为中心的问题类型的细粒度分类，以及考虑语义类型、会话范围、时间推理和时间表达的明确性的统一方法。 RUMBA 由带有时间戳的用户助理对话和需要跨会话检索、组合和推理的 QA 对组成。在专为俄语设计的同时，我们还根据相同的方法提供了一致的英语子集。我们评估当代记忆系统和长上下文模型，并展示 RUMBA 如何作为诊断工具来分析跨基准切片的模型行为，并识别不同记忆机制的优势和故障模式。