论文

开放权重 LLM 中的约束税:结构化输出约束下工具调用抑制的实证研究

Constraint Tax in Open-Weight LLMs: An Empirical Study of Tool Calling Suppression Under Structured Output Constraints

智能体系统Agent 工具调用

摘要

工具调用和结构化输出是现代Agent系统的两个核心功能,但它们在联合部署条件下的交互仍然没有得到充分的了解。本文报告了在生产代理系统中观察到的可重现现象:当同时启用工具调用和 JSON 模式约束时,尽管保持了较高的模式合规性,但多个开放权重模型仍会停止调用工具。我们将这种行为称为工具抑制。通过跨多个模型系列和部署设置的受控实验,我们在联合约束下一致地重现工具抑制,而工具执行和模式合规性在独立评估时仍然有效。进一步分析表明,JSON 架构约束被编译为基于语法的词元掩码,导致工具调用词元在解码过程中变得无法访问。这为观察到的行为提供了实现级别的解释。为了解释这一现象,我们提出了约束优先反转(CPI)假设,该假设表明图式满足可能在多个同时约束下主导行动选择行为。我们将 CPI 作为与观察到的证据一致的行为假设,而不是经过验证的内部机制。为了缓解这个问题,我们提出了透明两遍执行,这是一种推理时间策略,可将工具执行与模式约束的响应生成分离。实验结果表明,这种方法可以恢复工具调用,同时保留结构化输出保证,而无需模型重新训练。这些发现表明,单独评估工具使用和结构化输出可能会忽略生产代理系统中重要的可靠性问题。代码、数据和文档将在 https://github.com/Fzsama/Constrain-Tax-26-06.git 发布。