用于评估自然语言生成中的保真度和覆盖范围的符号学感知框架

当两个文本描述相同的表达时，基于词汇重叠或整个文本相似性的标准度量可能无法检测该表达的构建方式的有意义的差异。我们提出了一个评估文本之间符号学一致性的框架，其中符号学概况包含文本的上下文含义和话语参考。我们的方法产生两个分数，符号保真度和符号覆盖率，估计一个文本的配置文件有多少受到另一个文本的支持，以及它恢复了另一个文本的配置文件的多少。实验表明，覆盖率通常低于保真度，并且大语言模型和人工整理数据之间的一致性在低采样温度下最高，而较高的温度会降低这种一致性。