论文
加速悖论:重新思考具体任务中的推理速度与质量权衡
The Speedup Paradox: Rethinking Inference Speed-Quality Trade-off in Embodied Tasks
摘要
具身基础模型最近被广泛用于提高机器人泛化能力和任务成功率。之前的工作应用了有损高效推理技术,例如量化、剪枝和异步推理,接受较小的动作质量下降,以换取较低的每步计算成本和交互动作延迟。然而,与传统的静态机器学习任务不同,具身任务涉及与环境的重复交互,任务级性能不仅取决于每步成本,还取决于具身执行特有的闭环效应,而在当前的高效推理研究中,闭环效应仍然没有得到充分的表征。在这项工作中,我们提出了TISED(\underline{T}ask-level \underline{I}nference \underline{S}peedup \underline{E}ffect \underline{D}ecomposition),这是一个分析框架,它统一了多种有损推理优化技术并分解了它们对静态和动态任务的影响,并揭示了对任务级性能的一些矛盾影响:(1)在\textit{静态任务}上,优化有时会延长性能。即使每步延迟下降,端到端的每任务完成时间也如此; (2)在\textit{动态任务}上,适度的有损优化可以将任务成功率提高到甚至高于基线; (3)两种效果的单调性和最佳位置可以随着硬件配置的变化而变化。总之,我们的发现为将推理优化技术应用于具体任务提供了新的视角。