论文
SIRIN：检测检索增强与记忆支撑LLM系统中的上下文幻觉
SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems
摘要
SIRIN（Semantic Inconsistency Recognition and Inspection Nexus）是一个统一工具和交互式的网页用户界面，用于检测检索增强、自主化和记忆支持的大语言模型（LLM）系统中的上下文幻觉（不基于提供的证据的流畅、可信的响应）。SIRIN将三个检测方法（表示探查、不确定性估计和判例式验证）和互补的任务（预生成查询答案能力）统一在一个界面、配置系统和评估管道中，支持白盒和黑盒设置下的响应级别和跨度级别的检查。网页用户界面通过幻觉分数、不支持的跨度高亮和侧边框检测器比较，允许用户通过分析他们提供的上下文-查询-答案三元组进行实时分析。轻量级插件设计允许添加新的检测器。我们在幻觉检测、查询答案能力和作为长期记忆系统中的忠实性门控方面展示了SIRIN。源代码可在https://github.com/sb-ai-lab/SIRIN处公开获取。
