LexFlip：检验法律含义指标是否只是衡量词面重合

简化后的法律条款是否仍表达原意？目前要求相同句对得分最高、无关句对最低的检查，无法证明指标衡量了法律含义：这同时改变词面重合与法律效力，任何随词元重合单调变化的函数都能通过。本文提出分离诊断，在尽量保持表面形式的同时改变法律效力。LexFlip包含373个魁北克法定法语条款的最小扰动，改变法律效力但保留93%的词元，并提供可评测指标、回归器和提示评判模型的运行框架。所测七种嵌入与BERTScore指标，对这种修改仅使用其“相同到无关”分值范围的0.022—0.039；双向自然语言推断使用0.670，然而这一类指标会被相同句对检查排除。在FrJudge上，所测人工相关性上限为r=0.597，一个只考虑文本长度的特征胜过全部语义指标，并具有所测最小间隔。