OpenHalDet：跨不同世代场景的幻觉检测的统一基准

幻觉检测对于大语言模型（LLM）的可靠部署至关重要。然而，现有的评估面临两个核心挑战：推理配置和评估不一致，以及下游领域和任务的覆盖范围有限。因此，报告的探测器性能通常很难在特定的实验设置之外进行比较、再现和概括。我们推出了 OpenHalDet，这是一个跨不同代场景的幻觉检测的统一基准。 OpenHalDet 标准化了评估流程，从提示构建和响应生成到真实性注释、检测器评分和度量计算。它支持不同访问设置下的异构检测器系列，包括仅使用生成输出的黑盒方法、依赖基于概率的信号的灰盒方法以及利用内部模型信号的白盒方法。通过将不同的任务、模型和检测器引入共享框架，OpenHalDet 可以实现受控比较，并提供不同检测范例在 LLM 应用中的行为方式的系统视图。我们将 OpenHalDet 作为开放且可扩展的代码库发布，以促进幻觉检测方法的可重复评估和未来开发。代码和数据集可在 https://github.com/Nellie179/Hallucination-Detection 获取。