ConlangBench：通过多种构造语言探索 LLM 中的语言知识和学习

人工语言（conlangs）是有意创造的人类语言，具有丰富的语言创造力传统。尽管现有 conlang 在 大语言模型 (LLM) 中研究语言学习方面具有潜力，但在 LLM 研究中，现有 conlang 在很大程度上仍未得到充分探索。我们推出了 ConlangBench，这是第一个用于在 21 个现有 conlang 上评估和训练 LLM 的大型基准。我们收集了超过 2100 万个 conlang-英语平行句子对（包括 20 个非世界语 conlang 中的 430K 对）和 321K 词汇条目。在双向翻译实验中，我们发现模型在后验conlangs上表现更好，其词汇源自自然语言，反映了conlangs的设计特征。 ConlangBench 上的训练还表明，模型可以学习所有八个有足够并行语料库的 conlang，而它们的学习曲线根据 conlang 的创建方式而有所不同。我们的研究结果表明，conlangs 为研究 LLM 如何获取低资源语言提供了一个独特的测试平台。