论文
部署前预测:世界行动模型量化引起的任务降级的离线预测
Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models
摘要
世界行动模型 (WAM) 依赖于视频生成主干,需要大量内存和计算才能进行部署。训练后量化可减少内存并加速推理,但位宽、分组和量化器选择定义了较大的配置空间。通过详尽的闭环评估来识别保持任务性能的配置成本高昂。我们提出了 PreDE(部署前预测),这是一种策略校准框架,用于预测离线操作偏差导致的量化引起的任务退化。 PreDE 使用小型开发集的闭环结果来校准两个阈值,并使用固定的观察日志接受、拒绝或推迟新配置。在设置内标签排序假设下,规则发布与开发标签一致的所有阈值都一致的决策。在五个 WAM 和四个基准设置中,量化会产生与配置相关的任务损失,而这种损失不能单独用位宽或共享偏差阈值来解释。在两项政策的 28 个保留配置中,PreDE 在观察闭环结果(覆盖率 75%)之前发布了 21 个决策,所有决策都与观察到的可接受或降级标签相匹配。被推迟的候选人包括可接受的结果和 33 个百分点的损失。在涉及两个独立微调策略的 450 项 Franka Research 3 试验中,测试前分配给高偏差组的所有配置都显示出显着的退化,而低偏差比较则显示没有统计上显着的退化。在真实的机器人上,W4A4 实现了 1.37 倍的动作查询加速,峰值内存降低了约 44%。这些结果支持量化配置选择的特定于策略的行为校准,同时识别需要闭环评估的候选者。代码可在 https://github.com/jiuyixu25/PreDE 获取。