论文

LatticeSMC:分块序列生成器的推理算力投放

LatticeSMC: Where to Spend Inference-Time Compute in Chunked Sequence Generators

模型推理解码与生成控制

摘要

面向音乐、动作与视频的长程生成器逐块产出序列,每块经迭代去噪生成,而奖励定义在完整序列上。现有推理时引导方法通常一次只作用于一个轴:结尾best-of-N、跨去噪步的Feynman-Kac引导、或跨块的流式剪枝,且常在算力不匹配或回报规则不同的情况下比较。我们提出预算匹配的分块引导,并给出LatticeSMC——由块索引与去噪步二维格上的Feynman-Kac模型导出的采样器。两个伸缩结果使其设计精确:对块可加奖励,两轴诱导相同权重,因此重采样应发生在前瞻最便宜处;对终端奖励,任何前缀分数定义精确的中间势能,使前缀可评估的奖励成为twist而无需估计或额外去噪器调用。LatticeSMC在块边界(打分免费时块内)以这些势能重采样,返回加权抽样或最佳粒子。匹配算力下,在音乐-舞蹈扩散与40秒文本到音乐生成上,32粒子时把节拍对齐从0.234提升到0.441(best-of-N为0.354)、提示遵循从0.470到0.560,同时保持留出质量;长程奖励上保持优势,人类评分者在60-77%的两两比较中偏好它。最后我们证明承诺强度应跟随当前势能的信息量,前瞻的价值可由未来奖励的集合内可预测性预测。