扎根讽刺生成与 RAG

由于其主观性，幽默的生成对于 大语言模型 (LLM) 来说仍然是一项具有挑战性的任务。我们专注于讽刺，这是一种受上下文影响强烈的幽默形式。在这项工作中，我们提出了一种新颖的新闻依据关联讽刺生成管道，该管道使用当前新闻的检索增强生成（RAG）来生成芬兰语上下文中的讽刺词典定义。我们还引入了一个新的特定于任务的评估框架，并使用 6 名人工注释者注释了 100 个生成的定义，从而能够跨多个实验条件进行分析，包括文化背景、源词类型以及 RAG 的存在或不存在。我们的结果表明，生成的定义被认为更具政治性而不是幽默性。基于主题的选词和 RAG 都提高了输出的政治相关性，但都没有在幽默生成方面产生明显的收益。此外，我们对五个最先进模型的 LLM 作为法官评估表明，LLM 与人类对政治相关性的判断相关性很​​好，但在幽默方面表现不佳。我们发布了代码和带注释的数据集，以支持扎根讽刺生成和评估的进一步研究。