论文

自递归剪枝构建高效机器人操作模型

Towards Efficient Robotic Manipulation Models with Self-Recursive Pruning

摘要

网络修剪可以减少机器人策略中的参数冗余。然而,通用修剪标准是为图像识别任务量身定制的,通常设计用于保留权重大小、局部重建或语言模型可能性,而不是闭环动作行为。将这些修剪算法直接应用于机器人任务会产生不令人满意的性能。在本文中,我们提出了损失条件激活时刻(LCAM)剪枝,这是一种用于对预训练机器人操作策略进行非结构化剪枝的 无需训练方法。具体来说,我们首先使用行归一化权重贡献、校准演示中测量的激活时刻以及输出方向对动作预测损失的敏感性对连接进行排名。我们进一步设计了一个自递归的从粗到细的过程:在每个嵌套的粗剪枝阶段之后重新校准重要性,而保留测试离线动作失真在稀疏拐点之后指导细粒度的预算分配。我们的算法在修剪后无需昂贵的恢复训练和模拟器 执行轨迹。在具有竞争性机器人策略的三个 LIBERO 套件上进行的实验以及对 OpenVLA 的评估表明,LCAM 在广泛的修剪比率范围内获得了具有竞争力的性能。值得注意的是,在带有 OpenVLA 的 LIBERO-Object 上,我们的 LCAM 在 50% 非结构化修剪下取得了 84.0% 的成功率,保留了超过 90% 的密集策略的成功率。在现实世界的机器人乒乓球上取得的有希望的结果进一步证明了我们修剪算法的有效性。

自递归剪枝构建高效机器人操作模型:论文原图
图 2:具有自递归粗到精剪枝的 LCAM 框架概述。左:第一个校准过程估计逐层梯度尺度,而第二个过程将行归一化权重贡献与损失条件激活矩结合起来以对各个连接进行评分。右:随着嵌套掩码变得稀疏,连接重要性被重新校准。离线动作失真 $D(M)$,在 保留测试 集 $\mathcal{D}_{\mathrm{val}}$ 上进行评估,识别出稀疏拐点;之后,在可行的功能组中比较修剪额外 $1\%$ 合格权重的相同大小的候选掩码,并接受每个新修剪的连接具有最小失真增加的候选者。 LCAM 无需重新训练或模拟器 执行轨迹 即可构建这些掩模。