LACE：面向跨线程探索的格注意力

当前的大语言模型各自孤立地推理。尽管并行采样多条推理路径很常见，但这些轨迹互不交互，且常常以相同的冗余方式失败。我们提出 LACE，一个将推理从彼此独立的尝试集合转变为协调一致的并行过程的框架。通过改造模型架构以启用跨线程注意力，LACE 让并发的推理路径在推理过程中共享中间洞见并相互纠错。一个核心挑战是缺乏展现这种协作行为的自然训练数据。我们用一个合成数据流水线来弥补这一空白，该流水线显式地教会模型跨线程通信与纠错。实验表明，这种统一探索大幅优于标准并行搜索，将推理准确率提升超过 7 个百分点。我们的结果表明，当允许并行的推理路径相互交互时，大语言模型可以更加有效。