QUORUM：使用多个注释器进行质量优化的路由

数据注释仍然是自然语言处理的中心瓶颈，需要人类努力才能大规模获得高质量的标签。虽然 大语言模型 (LLM) 提供了一种快速且经济高效的替代方案，但它们的可靠性高度依赖于实例：它们在简单输入上表现良好，但在需要细致推理或上下文理解的示例上常常失败。在这项工作中，我们使用 QUORUM（使用多个注释器进行质量优化的路由）来解决这一挑战，这是一种预算感知路由框架，可以在固定的注释预算下将每个实例动态分配给人类或 LLM 注释器。与之前依赖模型置信度或不确定性估计的方法不同，QUORUM 利用基于特征的信号来估计实例难度，并支持每个实例多个注释，通过基于协议的奖励将它们组合起来以提高可靠性。我们在英语和多语言环境下的各种封闭式和开放式注释任务中评估了 QUORUM，与竞争方法相比，QUORUM 将注释质量提高了 34.4%，同时将成本降低了 8.8%。代码可以在 https://github.com/amazon-science/QUORUM 找到。