用于工具结构 LLM 推理方法的仅幅度 FFN 干预:门控评估协议和跨模型经验结果
Amplitude-Only FFN Intervention for Tool-Structured LLM Inference Method: Gated Evaluation Protocol, and Cross-Model Empirical Results
摘要
大语言模型 越来越多地作为使用工具的代理进行操作,其中小格式、参数或函数调用错误可能会使其他看似合理的响应无效。我们研究推理时间前馈网络(FFN)干预,作为在不重新训练模型权重的情况下改进结构化输出的方法。早期的特定于项目的方法正交残差投影 (ORP) 暴露了敏感的 SwiGLU FFN 位点和非单调能量效应,但其方向改变操作在关键诊断中产生的回归多于修复。因此,我们提出幅度门控(AG),它保留预训练的 FFN 权重方向并在解码期间调制激活幅度。 AG 将候选生成、排名和预期接受/后备决策分开。我们还引入了按样本修复-危害评估 (PFHE),这是一种配对报告协议,可通过修复、危害、保留正确案例和保留错误案例来补充本机任务指标。在唯一通过源对齐审核的跨位置联合上,探索性离线混合选择器将描述性异构评分器 Qwen3.5-9B 工具路线微平均值从 38.66% 提高到 42.92%(+4.27 个百分点);两个 Hermes 函数调用端点分别提高了 +7.64 和 +7.62 点。相同输出的 PFHE 格式视图记录了超过 2,556 个单元的 48 个修复、26 个危害、294 个保留正确案例和 2,188 个保留错误案例,并具有原生和严格效果的正配对引导区间。协议分离的 Qwen3-8B 和 Qwen2.5-7B 分析保留了预言机空间,但没有积极的列车选择固定工具路线。分组五重射频诊断表明非线性排名信号较弱,但强制干预,缺乏基线回退和配对不确定性,并且不是部署证据。结果支持具有严格回退的特定于模型和任务的选择,而不是通用的 AG 开关。