动作信用何时需要更新？

使用工具的Agent会随着新的交互数据不断更新。然而每次策略更新后，先前估计的动作信用可能已过期。从头重新计算可能需要大量额外的工具调用与环境交互，使反复更新的成本越来越高。我们提出一个简单的问题：历史动作信用究竟何时才需要更新？我们的关键观察是，动作价值的变化并不必然意味着决策的变化。只要策略引起的漂移不足以推翻既有的动作排序，历史信用就仍然有用。基于这一思想，我们引入成对分支敏感性来度量策略更新对区分两个候选动作的下游区域的影响强度。随后，我们推导了一个一阶锚定的信用传输估计器，利用旧的干预性轨迹更新历史信用，并提出决策充分信用门（DSC-Gate）来选择复用、传输还是重采样信用。实验表明，分支敏感性对信用漂移的解释力远优于全局策略距离。在历史数据充足时，信用传输降低了估计误差，而其对决策的收益集中在影响动作区分分支的更新上。在一个完全独立的测试集上，DSC-Gate相对于基于间隔的门控仅改变+0.00004的平均遗憾，同时将平均新工具步数从472降至286，降幅39.4%。在真实工具Agent参数更新后我们观察到相同的模式。总体而言，我们的结果表明Agent无需在每次策略更新后重新计算动作信用：大量历史证据可以被复用或廉价修正，从而减少保持动作决策更新所需的额外交互。