论文

超越干净文本:评估嘈杂文本中孟加拉语事件检测的编码器和解码器鲁棒性

Beyond Clean Text: Evaluating Encoder and Decoder Robustness for Bangla Event Detection in Noisy Text

模型评测基准与评测资源

摘要

事件检测 (ED) 系统通常在干净、精心设计的文本上进行评估,而其对现实世界噪声的鲁棒性基本上未被探索,特别是对于孟加拉语等资源匮乏的语言。我们引入了广义的孟加拉新闻事件本体和基准,其中包含 40 个事件子类型的 9,979 个带注释的句子,涵盖干净的新闻文本、现实世界的自动语音识别 (ASR) 转录本和拼写错误的文本。我们系统地评估了微调的仅编码器模型(BanglaBERT 和 XLM-R)以及仅指令调整的解码器 大语言模型(Llama 3 和 Gemma 3)。我们的结果揭示了一个明显的架构权衡:编码器模型在干净文本上实现了更高的性能,但在噪声下性能大幅下降,而仅解码器的 LLM 明显更稳健,特别是当事件触发器损坏时。我们进一步表明,在指令调整期间嵌入注释指南可以在噪声文本上建立更高的性能基线,但在噪声条件下会产生不一致的性能下降减少。最后,模型缩放持续提高了仅解码器 LLM 的鲁棒性,而对干净数据和噪声数据的组合训练作为一种有效的正则化策略,极大地有利于编码器架构,显着缩小了鲁棒性差距。