开源项目
faithgap 新仓库以反事实对照审计 LLM 推荐理由
microsoft/faithfulnessgap
概述
faithgap 把 RecSys 2026 研究的方法整理成可复用 Python 库。对同一推荐案例,先取得理由和基准排序,再分别反转、替换或删除理由,同时以同义改写作为控制;faithfulness gap 是改义后的平均决策变化率减去同义改写变化率,附 bootstrap 区间。默认检查 top-1,也支持自定义 top-k 或目标项排名。核心为 Python 3.9+ 标准库,无运行时依赖;用户需接入自己的模型和案例。离线 MockModel 只用于演示流程,不能当作真实模型成绩。当前文本编辑针对书面理由,迁移到分类等任务需替换提示与决策读出。许可为 MIT。