LLMSYS-HPOBench：真实世界 LLM 系统的超参数优化基准套件

大语言模型 (LLM) 系统一直是许多应用领域的人工智能前沿，为 AutoML 社区的超参数优化 (HPO) 带来了新的挑战和机遇。然而，这种类型的系统展示了前所未有的来自人工智能和非人工智能组件的超参数配置复合空间；保真度因素带来丰富且非线性的影响；以及测量超参数配置的各种成本，这些成本都没有在现有基准测试中得到充分体现。本文介绍了真实世界 LLM 系统的第一个（实时）基准套件和 HPO 数据集，称为 LLMSYS-HPOBench，涵盖与运行 LLM 系统时分析的超参数配置的推理目标值相关的数据。目前，LLMSYS-HPOBench 包含 364,450 个超参数配置，维度为 12-23、3-5 维保真度因子，导致 932 个设置、3-9 个推理目标指标和 2-10 个成本指标，以及测量 LLM 系统生成的日志。我们所倡导的不仅是在前沿的 LLM 系统上重新验证现有的 HPO 算法，而且还为 AutoML 社区提供一个不断发展的平台，以探索这方面的新研究方向。基准测试套件已在以下位置提供：https://github.com/ideas-labo/llmsys-hpobench