论文
Meta-Tool：针对小语言模型的高效少样本工具适配
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
摘要
小语言模型能否在没有复杂适配机制的情况下实现强大的工具使用性能？本文通过 Meta-Tool 来研究这个问题，Meta-Tool 是一项受控实证研究，将基于超网络的 LoRA 适应与精心设计的少样本提示进行比较。使用 Llama-3.2-3B-Instruct 主干网，我们在四个不同的基准测试中评估了四种适应机制——少镜头提示、文档编码、超网络生成的 LoRA 权重和价值引导波束搜索：Gorilla APIBench、Spider 2.0、WebArena 和 InterCode。我们的中心发现是一个得到充分支持的负面结果：尽管生成了不平凡的权重矩阵，但 2.278 亿参数的超网络并没有比单独的小样本提示提供可测量的改进。综合消融研究表明，少数样本示例对性能的贡献为 +21.5%，文档贡献为 +5.0%，而超网络则增加了 0%。具有精心设计的提示的 3B 模型可实现 GPT-5 平均性能的 79.7%，同时延迟降低 10 倍。对涵盖所有镜头计数 (0--5) 的 722 个故障案例进行的错误分析表明，在 5 镜头配置（106 次故障）下，故障模式与任务相关：架构繁重的任务（Spider 2.0、WebArena）显示剩余故障语义的格式错误接近于零，而格式错误在 Gorilla (100%) 和 InterCode (70%) 上占主导地位。这些发现将实践者重定向到快速工程和示例管理，而不是复杂的适应架构。