论文
AfrIFact：非洲语言的文化信息检索、证据提取和事实核查
AfrIFact: Cultural Information Retrieval, Evidence Extraction and Fact Checking for African Languages
摘要
评估在线声明的真实性是一项复杂而重要的任务，具有现实世界的影响。当这些主张针对信息获取机会有限且内容涉及医疗保健和文化等问题的社区时，后果就会加剧，尤其是在资源匮乏的语言中。在这项工作中，我们介绍了 AfrIFact，这是一个涵盖十种非洲语言和英语的自动事实检查（即信息检索、证据提取和事实检查）的必要步骤的数据集。我们的评估结果表明，即使是最好的嵌入模型也缺乏跨语言检索能力，并且无论是在大型语料库还是单个文档中，文化和新闻文档都比医疗领域文档更容易检索。我们表明，LLM 在非洲语言中缺乏强大的多语言事实验证能力，而在 AfriqueQwen-14B 中，几次提示可以将性能提高高达 43%，而特定于任务的 微调 进一步将事实检查准确性提高高达 26%。这些发现以及我们发布的 AfrIFact 数据集鼓励开展低资源信息检索、证据检索和事实核查方面的工作。