比较自然和合成的结构化数据：法语和意大利语被动动词交替的研究

本研究以法语和意大利语的被动动词交替为例，比较了自然数据和合成数据对训练和评估 大语言模型 (LLM) 的影响。我们使用 Blackbird 语言矩阵 (BLM)，这是一种结构化数据集，旨在探索跨句子集的潜在模式的语言知识。我们将使用从通用依赖关系中提取的自然句子实例化的结构化模板与合成句子的结构化模板进行比较。实验表明，虽然模型在合成数据集上进行训练和测试时达到了最高性能，但它们不能可靠地推广到自然句子。相比之下，在自然数据上训练的模型在自然和合成测试套件中都表现出强大的性能，展示了它们捕获抽象语言模式的卓越能力。这些结果证实了自然数据和结构化设置在语言评估中探索 LLM 句法和语义知识的价值。