FrugalSOT - 对模型的节俭搜索

在设备端 NLP 任务中，嵌入式硬件（例如 Raspberry Pi 5）资源有限，需要高效的推理策略。本文介绍了 FrugalSOT（模型上的节俭搜索），这是一种用于设备上 NLP 推理的资源感知模型选择架构。 FrugalSOT 通过提取提示长度、命名实体密度和语法复杂性等特征来估计每个请求的复杂性。首先向可能通过相关性阈值的最简单的模型发出请求。如果该模型的输出低于阈值，则会向更复杂的模型发出请求。需要注意的是，相关性阈值在后台不断更新。使用低通滤波机制在适应过程中使用过去的验证结果，从而适应不断变化的输入模式。在 Raspberry Pi 5 上实现的实验结果表明，与单模型基线方法相比，FrugalSOT 显着减少了平均推理时间和整体计算资源使用，而不会像最复杂的模型那样在同等程度上损害输出相关性。这些结果证实，自适应模型选择可以在有限的设备上实现高效、高质量的自然语言处理推理。