论文

使用 大语言模型 进行跨语言关系提取:罗马尼亚语的零样本、少样本和微调评估

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

模型评测基准与评测资源

摘要

低资源语言的关系提取(RE)通常受到缺乏注释语料库的限制。我们通过将自动数据集翻译与 大语言模型 (LLM) 推理相结合,研究罗马尼亚语跨语言 RE 的可行性。我们使用基于 LLM 的翻译管道将 SemEval-2010 Task 8 基准从英语翻译为罗马尼亚语,并根据跨越 125M 至 560M 参数的四个编码器基线(XLM-RoBERTa(基本和大型)、罗马尼亚语 BERT 和 RoBERT-large)在零样本、少样本和 QLoRA 微调配置下评估 Gemma 4 31B。我们评估两个任务公式:带有标记实体的关系分类和端到端提取。我们的结果表明,在仅提示的设置中,罗马尼亚语相对于英语下降了 3 到 5 个百分点 (pp),少数镜头提示比零镜头提示提供了边际增益,并且 QLoRA 微调 将两种语言的宏观 F1 分数提高了 22 个百分点以上,同时将跨语言差距从 3.3 个百分点缩小到 1.4 个百分点。尽管编码器基线小了 50-250 倍,但罗马尼亚语上的 QLoRA Gemma 的编码器基线在 1-4pp 范围内,125M 参数的单语言罗马尼亚语 BERT 与 278M 参数的多语言 XLM-R 相匹配。因此,在罗马尼亚语上使用 31B 模型进行单任务 RE 的情况在计算很重要的部署场景中是薄弱的。我们发布翻译后的数据集、评估代码和训练模型。