FlexiFlow：以断言和回滚成本驱动基础模型工作流切换

模型优化有助于提高 ML 工作流程的推理性能和准确性。然而，依靠单一模型对所有数据批次执行推理通常无法最大限度地提高准确性，从而提高整体性能。在许多情况下，替代模型可以在主要模型表现不佳的特定数据子集上表现更好。我们对真实 ML 工作流程的实验确实表明，切换模型可将工作流程准确性提高高达 23%。然而，当前的系统缺乏根据性能在模型之间自适应切换的能力，迫使用户按顺序手动测试模型。我们推出了 FlexiFlow，这是一种数据流系统，当当前模型精度较低时，它可以在备用模型之间动态切换。 FlexiFlow 学习使用一种新颖的多臂老虎机方法对模型进行排名，该方法考虑了模型运行时间、传递用户定义断言的概率以及 ML 工作流程的计算结构。我们表明，标准 Thompson 采样方法不足以切换 ML 工作流程中的模型。相比之下，我们提出的方法是有效的，并且可以扩展到复杂的现实世界机器学习工作流程。实验表明，与顺序工作流程运行相比，在运行时切换模型同时重用中间结果可提供更高的准确性，而且效率可提高 48%。