SELF-INDEX：自动诊断检索不足并验证索引修订

随着大语言模型代理人处理涉及不同信息需求的复杂任务，信息检索变得越来越重要。由于检索依赖于通过索引键表示每个文档的索引，因此检索质量在很大程度上取决于这些键公开每个文档中包含的知识的有效性。然而，有效的索引表示在不同的检索环境中会有所不同，这使得任何固定的优化策略都难以一致地执行。然而，索引的检索环境的演变在很大程度上仍然是由人类驱动的，需要人类诊断检索失败、完善优化策略并相应地重新处理索引。我们提出了 SELF-INDEX，这是一个使索引能够在无需人工干预的情况下自我演化的框架。其优化器自动诊断检索不足，有选择地修改负责的索引键，并在更新索引之前验证每个修订。除了对观察到的检索需求做出反应之外，SELF-INDEX 还通过查询模拟器主动探索其他需求，从而使索引能够超越现有可用于优化的查询。在不同的语料库和检索器中，SELF-INDEX 不断提高检索性能，同时优于现有的索引优化方法。我们进一步表明，这些好处扩展到下游应用程序，提高搜索代理的有效性和效率，并帮助代理记忆系统检索有用的过去交互。