论文
DIRECT：使用 大语言模型 直接解码，实现高效且对齐的序列标记
DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models
摘要
序列标记是一项细粒度的信息提取任务，但现有的基于 大语言模型 的方法存在域对齐不足和推理效率低的问题。为了解决这些问题，我们提出了 DIRECT，一个通过训练时间优化和推理时间纠正来解决这些问题的框架。具体来说，DIRECT 在监督 微调 后执行直接偏好优化（DPO），以加强任务与人类偏好的一致性，并引入受控解码过程，强制固定输出格式并将预测限制为候选集。为了进一步提高效率，模板填充机制要求模型仅生成标签标记，同时通过 KV Cache 重用前缀内容，从而减少冗余计算。在八个数据集上的实验结果表明，与现有方法相比，DIRECT 在性能和效率上均取得了显着改进。