ASAP：用于 ML 实验的以挂钟为中心的自动 HPO 研究的代理系统协同设计

超参数优化（HPO）对于最大化机器学习模型性能至关重要，其核心挑战是样本效率：在有限的预算内找到强大的配置。由于每个 HPO 工具都依赖于一个替代先验，而该替代先验会产生自己的归纳偏差，因此一旦问题变得足够多样化并偏离这些先验，个别工具就会陷入困境。受 LLM 推理和泛化能力的推动，最近的工作探索了使用 LLM 进行 HPO 并报告了每次迭代性能的改进。然而，这些方法有两个共同的局限性：它们使用 LLM 作为通过迭代计数评估的单一工具替代品。 (i) LLM 代替先前的工具进行部署，其本身受到其预训练目标的限制，只能是一系列归纳偏差建议；这种单一来源的设置仍然无法处理全部多样性的问题。 (ii) 每迭代评估忽略了这一点：在实际运行中，LLM 推理或工具执行是在每轮模型评估之上连续支付的，因此迭代计数增益不会转化为端到端挂钟增益。我们提出了 ASAP，一种解决这两个限制的代理系统协同设计。在代理方面，ASAP 使用 LLM 来集成各种归纳偏置优化器池，并在每轮建议中进行选择。在系统方面，ASAP 重新构建了循环，以减少端到端挂钟，同时保持后悔质量：前缀稳定的提示最大限度地提高了 KV 缓存在各轮中的重用；推测并行性通过相对误差接受测试隐藏了模型评估下剩余的 LLM 和工具延迟；自调节器根据关键路径上的执行日志调整推测阈值。对各种现代 HPO 任务的广泛实验表明，ASAP 始终优于基线，强调了工具集成和代理系统协同设计的价值。