论文
TransBERT：特定领域语言建模中的合成翻译框架
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
摘要
专业领域中非英语语言数据的稀缺极大地限制了有效自然语言处理（NLP）工具的开发。我们提出了 TransBERT，这是一种使用专门的合成翻译文本来预训练语言模型的新颖框架，并介绍了 TransCorpus，这是一个可扩展的翻译工具包。我们的方法专注于法语生命科学领域，表明仅通过利用综合翻译数据就可以实现各种下游任务的最先进性能。我们发布了 TransCorpus 工具包、TransCorpus-bio-fr 语料库（36.4GB 法语生命科学文本）、TransBERT-bio-fr、其相关的预训练语言模型以及用于预训练和微调的可重复代码。我们的结果强调了合成翻译在高资源翻译方向上在低资源语言/领域对中构建高质量 NLP 资源的可行性。