使用第三方 API 路由器进行代理软件开发的权衡在哪里？

第三方 API 路由器已成为统一日益多样化的 LLM 提供商之间的访问的公共层。在编码代理工作流程中，高自主性操作被广泛采用，因为它减少了交互开销。因此，位于代理和上游提供商之间的第三方 API 路由器不可避免地占用可信路径。它可以检查和修改每个请求和响应，但没有任何机制可以验证提供程序的输出与代理最终执行的存储库级操作之间的一致性。因此，客户端许可机制在实践中可能变得无效。这种控制差距是否会对软件开发任务产生真正的、难以察觉的影响，仍然无法根据经验来衡量。在本文中，我们对 编码智能体 中的路由器端注入进行了实证研究，检查了四种越来越微妙的干预级别：响应替换（L1）、响应追加（L2）、LLM-抛光注入（L3）和 LLM-抛光与分布对齐注入（L4）。此外，我们还开发了 SIDEL，这是一个用于跟踪记录、重放、注入和防御评估的框架，拥有包含 400 个样本的精选数据集。我们评估了四个具有代表性的编码智能体，并进一步评估了基于白名单的执行控制和LLM审查。路由器端干预极大地改变了存储库级别的操作，并且现有的客户端保护措施仍然难以检测到。在没有额外缓解措施的情况下，所有评估的代理在所有注入级别上的防御成功率均为 0%。客户端缓解措施和反应性审查可以提高抵抗力，但不能完全恢复端到端控制，从而激励提供商方提供输出完整性保证。我们的代码可在 https://github.com/Riyasushin/SIDEL 获取。