通过混合实用最小贝叶斯风险 (HUMBR) 减少企业人工智能工作流程中的幻觉

尽管 LLM 推动自动化，但确保充分考虑高风险企业工作流程（例如涉及法律事务、风险管理和隐私合规性的工作流程）至关重要。对于 Meta 和像我们这样的其他组织来说，如此高风险的工作流程中的一个幻觉条款可能会带来重大后果。我们表明，通过将幻觉缓解视为最小贝叶斯风险（MBR）问题，我们可以显着降低这种风险。具体来说，我们引入了一个混合实用 MBR (HUMBR) 框架，该框架将语义嵌入相似性与词汇精度相结合，以在没有 真值 引用的情况下识别共识，为此我们得出了严格的误差范围。我们通过对广泛使用的公共基准套件（TruthfulQA 和 LegalBench）以及来自元生产部署的真实世界数据的全面实证评估来补充这一理论分析。我们的实证研究结果表明，MBR 显着优于标准通用自一致性。值得注意的是，81% 的管道建议比人工设计的 真值 更受欢迎，并且几乎消除了严重的召回失败。