生成式递归推理

未来的神经推理系统应该如何实现扩展计算？递归推理模型 (RRM) 通过使用共享转换函数执行迭代潜在状态细化，为自回归序列扩展提供了一种有前途的替代方案。然而，现有的 RRM 在很大程度上是确定性的，遵循单一的潜在轨迹并收敛到单一的预测。我们引入\emph{生成递归推理模型（GRAM）}，一个将递归潜在推理转化为概率多轨迹计算的框架。 GRAM 将推理建模为随机潜在轨迹，通过递归深度和并行轨迹采样实现多种假设、替代解决策略以及推理时间缩放。这产生了一个潜变量生成模型，支持通过 $p_\theta(y \mid x)$ 进行条件推理，并且在输入固定或不存在的情况下，通过 $p_\theta(x)$ 进行无条件生成。通过摊销变分推理进行训练，GRAM 改进了结构化推理和多解决方案约束满足任务的确定性循环和递归基线，同时展示了无条件生成能力。 \href{https://ahn-ml.github.io/gram-website/}{https://ahn-ml.github.io/gram-website}