意识到重要的事情：大规模推理的有原则的上下文表示

摘要

解决科学、医学、法律和金融等领域的复杂任务通常需要将分散在远远超出模型上下文限制的大量异构源中的相互依赖的信息组合起来。现有的方法通过将信息组织成更易于管理的表示形式来应对这一挑战，模型可以根据这些表示进行推理，例如图形、文本记忆和检索集合。这些表示决定了下游推理是可能的，以及最终是否成功；然而它们的设计和构造在很大程度上仍然是临时的。在这项工作中，利用相关性实现的认知理论，我们提出了设计人工智能系统的具体原则，这些系统可以构建非常大的上下文的有效表示。我们分析现有方法并展示它们的成功和失败如何映射到它们与这些原则的一致性，并引入 R3Con，这是一种旨在更系统地实施这些原则的工具。我们根据最近两个大型文档语料库推理基准的九个最先进的基准来评估 R3Con。在这些基准测试中，R3Con 的表现明显优于最强基准，分别高出 20 美元和 8.4 美元两个百分点。它还使较小的模型能够胜过较大的模型：具有 4B 和 9B 模型的 R3Con 优于所有评估的 35B 基线，而具有 35B-A3B 模型的 R3Con 优于具有 Claude-Sonnet-5 的 Claude Code，且成本低 3.7 倍。我们的结果表明，遵循我们原则性方法的上下文表示可以减少对模型规模的依赖，这预示着人工智能系统的未来将由较小的模型提供支持，具有前沿水平的性能。我们的代码可在此 https URL 获取