跨流派和标点符号条件的阿拉伯语句子分割

由于标点符号含糊且不一致，许多文本缺乏可靠的句子边界标记，因此阿拉伯语的句子分割具有挑战性。现有的方法严重依赖标点符号提示，并且通常在格式良好的文本上进行评估，限制了它们在现实阿拉伯语环境中的稳健性。为了解决这个问题，我们引入了 AraSEG，一个跨流派的句子分割语料库，涵盖八个流派以及广泛的标点符号和文档结构条件。使用 AraSEG，我们在日益具有挑战性的分割设置下评估 LLM、轻量级编码器模型和基于依赖解析器的模型。我们的实验表明，轻量级编码器，甚至基于依赖解析器的模型，在最困难的条件下都优于 LLM。我们进一步研究了训练数据大小和类型多样性的影响，发现性能最终会饱和并且跨类型泛化仍然具有挑战性。我们还证明，准确的句子分割可以极大地改善下游依存句法分析。我们公开我们的代码、数据和模型。