论文
Ansari:基于检索的伊斯兰 AI 助手——架构、部署以及 140,000 次对话的经验教训
Ansari: A Retrieval-Grounded Islamic AI Assistant -- Architecture, Deployment, and Lessons from 140,000 Conversations
摘要
通用 大语言模型 (LLM) 越来越多地用于回答宗教问题,但对于伊斯兰内容来说,它们带来两个严重的风险:事实捏造(发明古兰经经文或圣训)和微妙的价值错位。我们推出了 Ansari,一个部署的、以检索为基础的伊斯兰人工智能助手,自 2023 年 6 月以来已处理超过 25 种语言的超过 140,000 个对话。Ansari 围绕代理检索循环构建:使用工具的语言模型对经过验证的伊斯兰语料库(古兰经、圣训集、多卷法理学 (fiqh) 百科全书和释经 (tafsir) 来源)进行搜索并给出答案仅基于检索到的内容,并附有引文以供验证。我们描述了系统的架构(代理循环、检索工具、语料库以及编码编辑和神学政策的系统提示)、其多平台部署(网络、移动、WhatsApp、作为模型上下文协议服务器和代理技能),以及 140,000 个真实对话揭示了穆斯林如何实际使用这种工具。我们报告了几项补充评估的结果——经认可的机构考试的零样本表现、斋月期间的人工评级验证,以及两个独立的外部运行基准,Ansari 目前在公共伊斯兰MMLU 排行榜上领先于前沿模型,并且在伊斯兰法律推理 (IslamicLegalBench) 方面具有竞争力,同时强烈抵制虚假前提——并得出了超越伊斯兰教的经验教训,适用于 LLM 的任何信仰或价值观敏感的部署:基础是必要的,但还不够,系统提示既是神学的,也是技术的产物,并且在如何形成模型方面缺乏社区仍然是一个巨大的差距。