论文
工具调用依赖结构在 LLM 代理残留流中可线性解码
Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams
摘要
使用 LLM 代理工具生成的轨迹,其调用形成有向依赖图:早期的工具输出为后来的调用提供参数。该执行结构是否在模型内部表示尚不清楚;先前的结构探针以静态代码或思想链文本为目标,而不是代理的运行时调用图。 Qwen3-32B 残余流上的低容量边缘探针对远高于 Hewitt--Liang 随机标签控制和位置基线的工具调用依赖图进行解码。值损坏和结构扰动之间的反事实对比表明信号跟踪抽象拓扑而不是标识符值,并在独立的非子串预言下复制。非位置组件在三个进一步的交互式多跳基准上进行复制,并随着调用顺序本身成为依赖关系的充分代理而减弱,在单次规划中消失。每层激活修补会在稍后的未修补边界处移动探针,这证明表示是传播而不是被动读出,尽管实现的工具调用不会移动。据我们所知,这是 LLM 代理的运行时工具调用依赖图的第一个结构探测。我们的主张涉及代表性,而不是行为控制,并且跨越两个模型系列和一个主要领域。