双三角形标注：用于高精度历史文档标注的可扩展人机交互框架

大规模评估从历史文档中提取的结构化信息需要高精度的 真值 注释，但传统的手动标记成本高昂，而且基于 大语言模型 构建的全自动管道很容易产生幻觉。我们提出了双三角注释，这是一种两层人机交互框架，利用跨模型共识来自动化大部分注释工作，同时确保高精度输出。在第一层，两个架构上独立的Multimodal 大语言模型并行注释每个文档；当他们同意时，该标签将被自动接受，而分歧将被提交给人类陪审团。第二层相互交叉检查两个这样的系统，将残余冲突升级给领域专家。该框架基于一个假设——模型之间的误差独立性——不需要分布先验或特定于任务的校准，并且随着模型能力的提高而变得更加自主。在 Guides Rosenwald（涵盖 1887 年至 1906 年的法国医学目录语料库）上，该框架的最终字错误率为 0.003。大规模应用后，模型共识会自动接受 13,595 个字段中的 85% 以上。我们发布了最终的基准测试——Rosenwald Guides 的第一个结构化提取 真值——以支持未来的历史文档处理工作。