论文

HistoriQA-第三共和国:法兰西第三共和国议会辩论的历史研究多跳问答语料

HistoriQA-ThirdRepublic: Multi-Hop Question Answering Corpus for Historical Research, Parliamentary Debates from the French Third Republic (1870-1940)

模型评测基准与评测资源

摘要

我们提出了 HistoriQA-ThirdRepublic:来自法兰西第三共和国议会辩论和报纸的多跳历史问题的法语数据集。该语料库是与历史学家合作设计的,捕捉了历史调查中典型的复杂推理模式,包括跨源综合、时间推理和稀疏证据的整合。该数据集由 1782 个问题组成,强调跨异构历史文档的多跳连接,为评估特定领域上下文中的检索增强和大型语言模型系统提供了资源。我们描述了构建语料库的方法,包括来源的选择和对齐、问题验证和元数据集成。虽然数据集侧重于法国历史文献,但我们的方法可以很容易地适应其他语言和国家语料库。最后,我们演示了语料库如何支持多跳问答的现实评估场景,弥合 NLP 基准与历史学术需求之间的差距。

HistoriQA-第三共和国:法兰西第三共和国议会辩论的历史研究多跳问答语料:论文配图
图 2:生成的问题和源文本的 TF-IDF 投影。优化提示中的问题比基本提示中的问题离源块更远,这表明词汇重叠更少,复杂性更高。