MT-OSC：在多轮对话中迷失的 LLM 的路径

当用户指令和上下文分布在多个对话回合中时，大语言模型 (LLM) 的性能会显着下降，但多回合 (MT) 交互主导聊天界面。将完整聊天历史记录附加到提示中的常规方法会快速耗尽上下文窗口，从而导致延迟增加、计算成本更高，并且随着对话的扩展，回报会递减。我们引入了 MT-OSC，这是一种一次性序列压缩框架，可以在后台高效自动压缩聊天历史记录，而不会破坏用户体验。 MT-OSC 采用 Condenser Agent，该代理使用基于几次推理的 Condenser 和轻量级 Decider 来选择性地保留基本信息，从而在 10 轮对话中将词元计数减少高达 72%。通过对 13 个最先进的 LLM 和各种多转弯基准进行评估，MT-OSC 不断缩小多转弯性能差距 - 提高或保持跨数据集的准确性，同时对干扰因素和不相关的转弯保持鲁棒性。我们的结果将 MT-OSC 确立为多轮聊天的可扩展解决方案，在有限的输入空间内实现更丰富的上下文，减少延迟和运营成本，同时平衡性能。