论文
大语言模型可以跟上危机的脉搏吗？评估孟加拉国七月起义的危机情绪
Can LLMs Follow the Pulse of a Crisis? Evaluating Crisis Sentiment in Bangladesh's July Uprising
摘要
危机情绪分析对于孟加拉语等资源匮乏的语言尤其具有挑战性，因为这些语言、语境和公众反应都在迅速变化。我们引入 UNRESTSENT200K，这是一个孟加拉危机情绪数据集，包含 2024 年 7 月至 8 月孟加拉国起义的约 20 万条 Facebook 和 YouTube 评论。该数据集涵盖了五个与事件相关的阶段，从早期升级和互联网封锁到政权过渡和后来的洪水危机。每个评论都链接到其父帖子，从而可以在有或没有语境的情况下进行评估。所有评论均通过完全人为流程进行注释，涉及 14 名孟加拉语母语注释者和高级验证，实现了实质性一致（kappa = 0.73，alpha = 0.71）和 94.2% 的盲审一致。我们对微调编码器、提示大语言模型和 LoRA 调整的大语言模型进行基准测试。结果表明，父帖子上下文持续提高性能，而跨阶段的时间转移会导致性能大幅下降。优秀的大语言模型表现良好，但仍然与讽刺、隐含的政治参考和阶段相关的意义作斗争。 UNRESTSENT200K 为研究低资源危机话语中的情境感知和暂时稳健的情绪分析提供了基准。 UNRESTSENT200K 可在 https://sami0055.github.io/UNRESTSENT200K/ 获取