Apollo Restore：历史希腊语基础大语言模型，针对古希腊文本的中间填充修复进行了优化

我们推出 Apollo Restore，这是一个包含 240 亿参数的大型语言模型，用于修复支离破碎的古希腊文本中的缺陷（物理间隙）。 Apollo Restore 通过 Mistral Small 进行微调，具有中间填充目标，可重建缺失的跨度，而无需预言机了解其长度。据我们所知，它是历史希腊语的第一个大规模解码器模型，也是任何古地中海语言的第一个解码器模型。与之前的工作一样，在最多 10 个字符的短间隙上进行评估，Apollo Restore 将记录纸莎草纸、文学纸莎草纸和石刻空白的正确修复率列为前 20 名候选者之一，比最强的已发布模型高出 $1.6\times$/$2.6\times$/$1.4\times$。然而，之前的评估协议通过偏向微小的差距而夸大了分数。在长度平衡指标下，Apollo Restore 相对于最强已发布模型的优势增长到 $2.3\times$/$3.5\times$/$1.6\times$，并且即使给出不正确的长度提示，也会优雅地降级。在一项盲法研究中，20 名纸质专家、金石学家和语言学家强烈支持 Apollo Restore 的最强基线，并认为在 77% 的情况下其性能至少与人类修复一样好。 Apollo Restore 还提高了 PHerc 的已发表阅读量。 1667 年——在公元 79 年维苏威火山喷发时碳化的纸莎草卷，在阿波罗恢复训练数据汇编后以数字方式展开和编辑。 Apollo Restore 是由奥地利科学院领导的“解码古代”计划的成果，该计划旨在为历史语言和手稿建立专门的大语言模型。