Tool Attention Is All You Need:动态工具门控与惰性Schema加载消除可扩展智能体工作流中的MCP/工具税
Tool Attention Is All You Need: Dynamic Tool Gating and Lazy Schema Loading for Eliminating the MCP/Tools Tax in Scalable Agentic Workflows
摘要
Model Context Protocol(MCP)已成为连接大语言模型(LLM)智能体与外部工具的通用接口,但其依赖的无状态、急切式Schema注入带来每轮隐性开销——即MCP税或工具税——从业者报告称,在典型的多服务器部署中该开销约为1万至6万token。这一载荷会使键值缓存膨胀,并随着上下文利用率接近已发表的约70%断裂点而与推理退化相关,还使token预算成为经常性运营成本。我们提出Tool Attention,一种中间件层机制,将“Attention Is All You Need”范式从对token的自注意力推广为对工具的门控注意力。Tool Attention结合了:(i)基于句子嵌入的意图Schema重叠度(Intent Schema Overlap, ISO)评分;(ii)强制前置条件与访问范围的状态感知门控函数;(iii)两阶段惰性Schema加载器,在上下文中保留紧凑的摘要池,并仅为top-k个通过门控的工具加载完整JSON Schema。我们在一个模拟的120工具、六服务器基准上进行评估,其每服务器token计数依据对真实MCP部署的公开审计进行了校准。在该模拟中,Tool Attention将实测的每轮工具token直接降低95.0%(47.3k -> 2.4k),并将有效上下文利用率(一个token比率量)从24%提升至91%。任务成功率、延迟、成本与推理质量的端到端数字是以实测token计数结合已公开的部署遥测推得的预测值;它们并未在真实运行的LLM智能体上测得,我们在全文中明确标注预测值。综合来看,这些结果支持一个简单论点:对可扩展智能体系统而言,协议级效率而非原始上下文长度才是约束性瓶颈。本工作代码见 https://github.com/asadani/tool-attention