论文
SemEval-2026 任务 4:叙事故事相似性和叙事表征学习
SemEval-2026 Task 4: Narrative Story Similarity and Narrative Representation Learning
摘要
我们提出了关于叙事相似性和叙事表征学习的共享任务 - NSNRL(发音为“nass-na-rel”)。该任务将叙事相似性操作为二元分类问题:确定两个故事中的哪一个与主播故事更相似。我们引入了叙事相似性的新颖定义,与叙事理论和直觉判断兼容。基于在这个概念下收集的相似性判断,我们还评估了叙事嵌入表示。我们为 1,000 多个故事摘要三元组收集了至少两个注释,每个注释都得到至少两个一致同意的注释者的支持。本文描述了数据集的采样和标注过程;此外,我们还概述了所提交的系统及其采用的技术。我们总共收到了来自两个赛道 46 个团队的 71 份最终提交作品。在我们基于三重的分类设置中,LLM 集成构成了许多得分最高的系统,而在嵌入设置中,对预训练嵌入模型进行预处理和后处理的系统的性能与自定义微调解决方案大致相同。我们的分析确定了这两个轨道上自动化系统的潜在改进空间。该任务网站包括所有团队的嵌入可视化以及实例级分类结果。