评估德语文本自然语言生成的体验质量

自然语言生成（NLG）的快速发展使得生成文本的可靠评估变得越来越重要，因为这些系统，例如大语言模型（LLM），现在已广泛部署在实际应用中。然而，传统的自动指标无法捕捉感知质量的多方面性质。在本文中，我们介绍了 TextQ-German，这是一个新颖的数据集套件，用于从体验质量 (QoE) 的角度对德语 NLG 进行以人为中心的评估，涵盖自动文本摘要和机器翻译。通过对德语使用者的众包研究，我们收集了人类质量评级并确定了每项任务的相关感知质量维度。我们开发自动 QoE 预测模型，包括基于 Transformer、基于语言特征和混合方法。混合模型在几乎所有实验设置中都优于纯 Transformer 基线，而仅语言特征就可以接近微调语言模型的性能。该数据集使用 LLM 生成的输出进行扩展，并标注总体 QoE 分数。对保留集的最终验证表明对未见数据的概括。我们的工作为 NLG 评估和自动 QoE 预测基线提供了可公开访问的资源，为开发更好地符合人类质量感知的 NLG 系统奠定了基础。