Atropos：通过提前终止和模型热插拔改善自洽下基于 LLM 的代理的成本效益权衡

开放权小语言模型 (SLM) 可以以较低的财务成本提供更快的本地推理，但可能无法达到与大几个数量级的商业 大语言模型 (LLM) 相同的性能水平。因此，LLM 的许多最新应用程序（例如软件工程代理）往往仅在较大的模型上进行评估，从而忽略了改善此类应用程序的成本效益权衡的问题。本文提出了 Atropos，一种预测性提前终止分析和热插拔技术，旨在改善使用自一致性的基于 LLM 的代理的成本效益权衡。 ATROPOS的核心组件是基于LLM推理的结构特性的预测模型：将多个代理推理路径合并成图表示后，ATROPOS使用图卷积网络（GCN）来预测正在进行的推理最终是否会成功。如果预计在源 LLM 上运行的代理任务实例会失败，ATROPOS 随后会执行热交换，即将正在进行的推理上下文迁移到功能更强大的目标 LLM 上：这是可行的，因为 LLM 上下文是无状态的。使用最近的三个基于 LLM 的代理对 ATROPOS 进行的实证评估表明，ATROPOS 可以预测最终失败的推理的提前终止，在推理中点的准确度为 0.85。对此类推论进行热交换 LLM 最多可以将其中的 27.57% 转化为成功。因此，ATROPOS 的成本仅为封闭式 LLM 的 74.35%，而成本却低至 23.9%。