论文
一次初始化，然后在本地重新编程：黑盒服务模型适应的有效替代方案
Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation
摘要
针对目标任务调整闭箱服务模型（即 API）通常依赖于通过零阶优化（ZOO）进行重新编程。然而，这种标准策略以大量、昂贵的 API 调用而闻名，并且经常遭受缓慢、不稳定的优化。此外，我们观察到这种范式面临着现代 API（例如 GPT-4o）的新挑战。这些模型对 ZOO 所依赖的输入扰动不太敏感，从而阻碍了性能提升。为了解决这些限制，我们提出了另一种有效的服务模型重编程方法（AReS）。 AReS 不是直接、连续的闭箱优化，而是启动与服务 API 的单通道交互，以启动合适的本地预训练编码器。该启动阶段仅训练本地编码器顶部的轻量级层，使其能够高度接受直接在本地模型上执行的后续玻璃盒（白盒）重新编程阶段。因此，所有后续的适应和推理都仅依赖于该本地代理，从而消除了所有进一步的 API 成本。实验证明了 AReS 的有效性，而之前基于 ZOO 的方法却举步维艰：在 GPT-4o 上，AReS 比零样本基线提高了 27.8%，而基于 ZOO 的方法在这项任务上几乎没有提供任何改进。总体而言，在 10 个不同的数据集上，AReS 的性能优于最先进的方法（VLM 提高 2.5%，标准 VM 提高 15.6%），同时将 API 调用减少超过 99.99%。因此，AReS 为适应现代闭箱模型提供了强大且实用的解决方案。