论文

归因于函数调用中的结构化输出增益:接口对齐与过程传输

Attributing Structured-Output Gains in Function Calling: Interface Alignment versus Procedural Transfer

模型评测评测方法与指标

摘要

结构化输出基准奖励任务决策和界面合规性,因此提示引起的函数调用收益需要归因才能被解释为可转移技能。我们引入了四层增益归因协议,用于提示前置技能注入,结合规范化重新评分、仅格式控制、修复/平衡归纳和可移植性检查。该协议应用于 Berkeley Function Calling Leaderboard (BFCL) 并以 API-Bank、MATH-500 和 MultiHop-RAG 为范围,表明一些明显的收益更好地归因于接口对齐,而不是程序传输:仅格式提示匹配或超过关键 BFCL 单元中的全部技能,修复/平衡归纳消除了最大的子前沿收益,API-Bank 目标本机收益通过长度匹配在 0.5 个百分点 (pp) 内匹配通用程序提示。这些发现将格式合规性视为一种有用的工程能力,同时阐明了结构化输出分数所证明的内容。我们发布了 BFCL-CANONICAL 并推荐规范化指标、平衡归纳和用于函数调用技能增益归因的纯格式基线。代码和数据可在 https://github.com/couragec/skill-injection-attribution 获取。