论文
为不可读内容建立索引:面向服务分类体系的LLM原生递归构建与搜索
Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies
摘要
智能体互联网(Internet of Agents,IoA)时代正在成形:LLM智能体需要通过编排快速增长的模型上下文协议(Model Context Protocol,MCP)服务器、智能体间(Agent-to-Agent,A2A)端点、可复用技能以及其他可被LLM调用的服务来完成用户目标。然而LLM与这种格局存在结构性错配:有效上下文是稀缺资源,不会随服务数量的增长而扩展。将数千条服务描述拼接进提示词会撑爆上下文窗口,即便窗口足够大,模型也会系统性地忽略长输入中间部分的信息,即被充分记录的Lost-in-the-Middle现象。这从根本上是一个服务发现的上下文管理问题。为解决这一问题,我们提出一种LLM原生的渐进式披露方案及其实例化实现A2X(Agent-to-Anything服务发现):一条LLM驱动的流水线,自动将注册服务组织成层次化分类体系,并在查询时逐层遍历,使每次LLM调用只看到与用户查询高度相关的小规模候选集。这将有效上下文的稀缺性与注册表规模解耦,在显著降低token消耗的同时提高检索准确率。与全量上下文倾倒相比,A2X以九分之一的提示token成本取得6.2个百分点的命中率(Hit Rate)提升;与最先进的开源嵌入基线相比,A2X将命中率提高超过20个百分点。
