打破自回归链：基于 LLM 的高效属性值提取的超并行解码

一些文本生成任务，例如属性值提取 (AVE)，需要从同一文档上下文中解码多个独立序列。虽然标准自回归解码由于其顺序性质而速度较慢，但​​输出序列之间的独立性提供了并行性的机会。我们提出了超并行解码，这是一种新颖的解码算法，可通过利用共享内存和跨批次计算来加速离线解码。 HPD 通过位置 ID 操作实现无序词元生成，从而显着提高效率。 AVE 上的实验表明，属性值对是有条件独立的，使我们能够在每个提示中并行生成值。通过在单个提示中进一步堆叠多个文档，我们可以并行解码每个提示最多 96 个标记。 HPD 可与所有 LLM 配合使用，将推理成本和总推理时间降低高达 13.8 倍，而不会影响输出质量，从而可能在行业 AVE 任务上节省数十万美元。尽管 HPD 是为属性提取而设计的，但它并没有对 AVE 域做出独特的假设，并且理论上可以应用于具有独立输出结构的其他场景。