Halluscoring 2026：第一个关于 llms 幻觉检测和答案验证的共享任务

我们提出 HalluScoring 2026，这是一项共享任务，用于在具有挑战性的泛化设置下评估阿拉伯语问答中的幻觉检测和事实验证。它的四个子任务被组织成两个任务。任务~1 评估二元幻觉检测，考虑对未见问题（子任务 1.1）的泛化以及由未见 LLM 生成的响应（子任务 1.2）。任务 2 通过要求系统额外识别六个相关候选者的正确事实答案，将评估扩展到检测之外，涵盖伊斯兰知识（子任务 2.1）和一般知识（子任务 2.2）。共享任务基于两个阿拉伯数据集：HalluScore 和 HalluTruthQA。共有 13 个团队参与了共享任务，其中 10 个团队提交了系统描述论文。任务 1 的结果表明幻觉检测仍然具有挑战性。在任务 1 测试集上，排名靠前的系统在子任务 1.1 (REGLAT) 中获得了 0.7717 的 AUC-ROC 分数，在子任务 1.2 (NAMAA) 中获得了 0.7670 的 AUC-ROC 分数。在辅助评估下，子任务 2.1 和 2.2 的最高组合检测和答案选择得分分别为 0.8824 和 0.8565。