通过语义约束验证评估 LLM 个性化

当前 大语言模型 (LLM) 个性化的评估范例严重依赖于脆弱的表面匹配指标或计算昂贵的 LLM 作为判断协议，这两者都缺乏可解释性。为了解决这些限制，我们引入了自然语言推理约束验证（NLICV），这是一个可扩展的、语义不变的框架，它将句子含义映射到真值条件集，以通过自然语言推理（NLI）模型验证个性化约束。 NLICV 超越了二元评分，将 LLM 行为分为四种不同的模式：个性化、泛化、阿谀奉承和失败。大量实验表明，NLICV 与人类注释紧密结合，同时大大降低了与 LLM 判断相关的延迟和词元成本（推理加速高达 2100）。最后，通过基于消融的程序，NLICV 查明驱动约束验证的确切句子，为其评估提供忠实、可理解的证据。