Thought-检索器：不仅检索原始数据，还检索记忆增强代理系统的想法

大语言模型（LLM）凭借其强大的内部能力和知识改变了人工智能研究。然而，现有的LLM在与世界交互时仍然无法有效地融入大量的外部知识。尽管提出了检索增强的 LLM 来缓解该问题，但它们仍然从根本上受到 LLM 上下文长度的限制，因为它们只能从外部知识库中检索前 K 个原始数据块，而外部知识库通常由数百万个数据块组成。在这里，我们提出 Thought-检索器，这是一种新颖的模型无关算法，可以帮助 LLM 生成以任意长的外部数据为条件的输出，而不受上下文长度或检索的数据块数量的限制。我们的关键见解是让 LLM 充分利用其在解决过去的用户查询（想法）时生成的中间响应，过滤无意义和冗余的想法，在思想记忆中组织它们，并在解决新查询时检索相关想法。这有效地为基于 LLM 的智能体配备了自我进化的长期记忆，通过持续的交互变得更加有能力。除了算法创新之外，我们还精心准备了一个新颖的基准测试AcademicEval，它要求LLM忠实地利用超长上下文来回答基于现实世界学术论文的查询。在 AcademyEval 和其他两个公共数据集上进行的大量实验验证了 Thought-检索器 的性能显着优于最先进的基线，在各种任务中 F1 分数平均提高至少 7.6%，获胜率平均提高 16%。更重要的是，我们进一步证明了两个令人兴奋的发现：（1）Thought-检索器确实可以帮助LLM在解决更多用户查询后自我进化； (2) 思想-检索器 学习利用更深层次的思想来回答更抽象的用户查询。