大语言模型可以处理话语助词吗？马来语口语案例研究

话语助词（例如 well 和 kind of）是使 LLM 能够更像人类“说话”的关键组成部分。它们被用来传达情感、意图和人际态度。然而，现有的研究尚未对LLM处理话语粒子的能力建立全面的理解。此外，数量有限的研究主要集中在英语等高资源语言，而很少关注东南亚语言。在本文中，我们（1）提出MalayPrag，一个旨在系统评估和分析LLM处理马来语口语语篇助词能力的基准； (2)引入五个属性，为解释语篇助词的语用功能提供一个有理论依据的统一框架。应用这两个，我们提示十个现成的 LLM 执行三个预测任务。实验结果揭示了当前的 LLM 在马来语中准确连接语篇助词及其语用功能所面临的巨大挑战。研究发现，提供本研究中设计的五个属性可以显着改善联系，强调了对模型实用能力的结构化脚手架的需求。