教授 LLM 低资源语言：增强 Pharo 中的代码完成能力

大语言模型 (LLM) 开启了自动化代码编写的新可能性，成为大多数代码完成工具的支柱。虽然 LLM 在主流语言中表现出色，但它们通常缺乏对训练数据稀缺的所谓低资源语言的支持。因此，这些语言在其社区可用的代码完成工具的质量方面落后。一个具体的例子是 Pharo，这是一种受 Smalltalk 启发的语言，其 IDE 目前仅提供单词元完成功能。在这项工作中，我们报告了将基于 LLM 的代码完成引入 Pharo 的经验。首先，我们描述了一个端到端的管道，它结合了 Pharo 特定的数据管理，继续开放代码 LLM 的 预训练 和 微调。其次，我们介绍了一组 Pharo 代码完成基准，旨在评估模型是否 (i) 学习 Pharo 的语法和 (ii) 准确地完成来自真实 GitHub 存储库的屏蔽 Pharo 代码。第三，我们凭经验证明 Pharo 专用模型大大优于其原始基础检查点，并且也超过了 Pharo 补全上更大代码 LLM 的准确性。总体而言，我们的案例研究证明了将强大的基于 LLM 的代码完成引入低资源编程语言的可行性，模型足够小以提供“实时”IDE 内支持。