论文

为不可读内容建立索引:面向服务分类体系的LLM原生递归构建与搜索

Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies

上下文与知识智能体系统上下文工程智能体互操作协议MCP

摘要

智能体互联网(Internet of Agents,IoA)时代正在成形:LLM智能体需要通过编排快速增长的模型上下文协议(Model Context Protocol,MCP)服务器、智能体间(Agent-to-Agent,A2A)端点、可复用技能以及其他可被LLM调用的服务来完成用户目标。然而LLM与这种格局存在结构性错配:有效上下文是稀缺资源,不会随服务数量的增长而扩展。将数千条服务描述拼接进提示词会撑爆上下文窗口,即便窗口足够大,模型也会系统性地忽略长输入中间部分的信息,即被充分记录的Lost-in-the-Middle现象。这从根本上是一个服务发现的上下文管理问题。为解决这一问题,我们提出一种LLM原生的渐进式披露方案及其实例化实现A2X(Agent-to-Anything服务发现):一条LLM驱动的流水线,自动将注册服务组织成层次化分类体系,并在查询时逐层遍历,使每次LLM调用只看到与用户查询高度相关的小规模候选集。这将有效上下文的稀缺性与注册表规模解耦,在显著降低token消耗的同时提高检索准确率。与全量上下文倾倒相比,A2X以九分之一的提示token成本取得6.2个百分点的命中率(Hit Rate)提升;与最先进的开源嵌入基线相比,A2X将命中率提高超过20个百分点。

为不可读内容建立索引:面向服务分类体系的LLM原生递归构建与搜索:论文配图
图 1:A2X 系统概览。左上:LLM根据注册服务自动构建分层分类法。右上:渐进式披露递归地检索与查询相关的类别和服务。底部:LLM 本地分类法搜索;纯色箭头标记选定的分支,灰色虚线标记修剪的分支。