论文
从脚本到语义:非洲 NLI 的提示策略
From Script to Semantics: Prompting Strategies for African NLI
摘要
大语言模型 (LLM) 在多语言环境中得到越来越多的评估,但它们在资源匮乏的非洲语言中的推理行为仍未得到充分探索,特别是在没有 微调 的纯提示下。我们使用 AfriXNLI 基准对斯瓦希里语、约鲁巴语和豪萨语自然语言推理 (NLI) 的提示策略进行了系统研究。我们在两个中型开放权重模型(Llama3.2-3B 和 Gemma3-4B)中评估了五种提示策略:基线(零样本)、脚本感知、语言特定、对比和本机标签自翻译 (NL-STP)。为了隔离提示设计的影响,我们的研究中消除了少样本示例和思维链推理的影响。我们发现在某些配置中具有高度中性类别崩溃和高预测偏差的策略之间的类别表现存在显着差异。对比提示被证明是相对于语言和模型来说最可靠且稳定改进的策略,并且具有更好的班级行为平衡和整体准确性增益的平衡。值得注意的是,结构良好的提示足以击败由少样本提示和思想链提示提供的更强大的基线。我们发现,及时制定对于资源匮乏的多语言 NLI 至关重要,并且语言感知决策结构可用于有意义地增强资源匮乏环境中的鲁棒性。