论文

当少就足够时:孟加拉新闻标题生成的上下文选择和提示策略

When Less Is Enough: Context Selection and Prompting Strategies for Bengali News Headline Generation

模型评测模型行为与机制分析

摘要

大语言模型 (LLM) 在文本生成任务中表现出了强大的性能,但它们在标题生成上的有效性仍然对输入上下文的选择和呈现方式敏感。在这项工作中,我们将孟加拉语新闻标题生成作为文档级生成任务进行研究,需要从长篇文章中有效选择和呈现显着的上下文信息。使用 Gemini-2.0-Flash、Llama-3.3-70B 和 GPT-4o,我们系统地研究了上下文选择、提示策略和上下文学习(即少样本)对标题生成质量的影响。我们的实验表明,提供完整的文章并不一定会提高性能;相反,使用文章的选定主要段落可以保持标题生成质量,在某些情况下甚至可以提高标题生成质量。我们进一步比较孟加拉语本机提示 (BNaP) 和跨语言提示 (XLP),并检查每种提示如何与包含辅助上下文提示的上下文丰富提示模板进行交互。结果表明,提示策略会极大地影响生成质量:XLP 通常会产生更强的性能,特别是与上下文丰富相结合时,但其好处取决于模型。此外,少样本提示极大地改善了 Gemini,大部分收益都是从一次演示中获得的,而 Llama 从额外的示例中获得的好处有限。总的来说,我们的研究结果强调,有效的孟加拉语新闻标题生成更多地依赖于上下文相关性和提示设计,而不是增加输入长度,为多语言和低资源 LLM 应用程序提供了实用的见解。