LLM-FACETS：面向LLM透明度与问责制评估的隐私保护框架

评估大语言模型输出是否有事实依据、认知上是否经过校准、方法上是否可复现，是负责任AI部署的前提。然而，对LLM的审计对非技术从业者来说仍然遥不可及：现有工具需要编程专长与不小的环境搭建工作，而云端托管平台会将评估数据传输给外部服务，这对承担AI监督法律责任的领域专家与合规官构成了障碍。我们提出LLM-FACETS（LLM FActuality Cross-EvaluaTion System）：一个开源框架，具有浏览器可访问的界面与插件架构，围绕三类从业者画像（技术专家、领域专家、合规官）构建，与欧盟AI法案和NIST AI风险管理框架中识别的利益相关方类别相呼应。该架构使数据流向清晰可见：确定性指标（BLEU、ROUGE、BERTScore）完全在自托管服务器内运行、无对外传输；LLM裁判指标则显式调用外部API，用户保留完全的凭证控制权。该框架通过三种机制落实透明度：用于认知不确定性的词元级对数概率可视化、缓解裁判偏见的多元裁判共识，以及用于检测和定位幻觉的RAG三元组指标（忠实性、答案相关性、上下文相关性）。插件架构允许在不修改评估流水线的情况下集成任何新指标或新数据集。开源实现支持针对同一属性的多个指标交叉验证，确保可复现性，并将AI问责与构建被评估系统的团队解耦。我们通过对18个指标实现与权威参考库的交叉验证来检验该框架。