SiPaKosa：僧伽罗语和巴利语经典和古典佛教文本的综合语料库

摘要

SiPaKosa 是僧伽罗语和巴利语教义文本的综合语料库，包含大约 786K 个句子和 925 万个单词，包含 16 个版权已清除的历史佛教文献以及完整的网络抓取的大藏经经典文本。该语料库是通过使用 Google Document AI 对历史手稿进行高质量 OCR 创建的，结合规范存储库的系统网络抓取，然后进行严格的质量控制和元数据注释。该语料库被组织成特定语言的子语料库：僧伽罗语和混合僧伽罗语-巴利语。我们使用 10 个预训练模型来评估语言模型的性能，我们的语料库上的困惑度分数范围为 1.09 到 189.67。该分析表明，专有模型的性能明显优于开源替代方案三到六倍。该语料库支持领域适应语言模型的预训练，促进历史语言分析，并有助于开发佛教学术信息检索系统，同时保护僧伽罗文化遗产。