论文

Grammar Engineering 遇见 LLM:粤语和爱尔兰语 ParGram 树库的开发

Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

模型评测模型能力评测

摘要

语法工程需要语言形式主义和计算实现方面的专业知识,特别是在平衡跨语言一致性与语言特定属性的并行语法项目中。本文介绍了并行语法 (ParGram) 项目中粤语和爱尔兰语树库的开发,其中语言并行性保持在抽象功能级别。我们还研究了使用多语言 LLM 支持语法工程的方法潜力和局限性,重点关注粤语-爱尔兰语翻译以及使用 OpenAI 的 gpt-oss-120b 模型生成正式句法结构。结果表明,翻译效果普遍不理想,且不受提示语言的影响。对于句法结构生成,该模型产生了一些结构上有意义的输出,但在需要跨语言抽象的任务上表现不佳。尽管如此,LLM 生成的输出仍然可以通过建议替代分析和(部分)捕获谓词-论证关系来提供一些参考价值。总体而言,我们的研究结果强调了在协作语法工程中使用 LLM 的潜力和局限性,同时强调了专家驱动的分析和验证的持续重要性。