CacheRouter：面向长尾工具发现、缓存保持式主模型隔离的双路径工具路由架构

LLM系统中的工具使用面临一个结构性权衡。渐进式披露通过只展示与当前任务相关的工具来保持提示短小，而提示缓存则奖励在多次调用之间保持固定的请求前缀；可见工具列表的每一次变更都会使缓存前缀失效。本文将这一权衡视为请求架构问题，提出一种双路径路由设计，把工具选择与工具交付分配到两条独立通道。主模型始终只看到一小组固定的核心工具，因此其请求头部在多次调用之间保持不变；所有其他工具通过一条独立的路由通道访问：一个路由子模型搜索完整工具列表，选择一个工具，执行它并返回结果。工具注册从源代码自动完成并支持运行时更新，因此工具集可以在不修改主模型请求前缀的情况下增长。该设计是渐进式披露的推广：能力通过路由通道披露，主模型的前缀保持稳定。一个原型实现在55个功能性查询和一段30轮对话上进行了演练；token级缓存命中率分别达到90.99%和95.2%，按DeepSeek定价（缓存命中的输入token价格约为未命中token的1/30），输入成本降至无缓存基线的约12.0%和8.0%。