论文

多语言KokoroChat:用于创建多语言咨询对话数据集的多LLM集成翻译方法

Multilingual KokoroChat: A Multi-LLM Ensemble Translation Method for Creating a Multilingual Counseling Dialogue Dataset

应用与实践机器翻译

摘要

为了解决高质量、公开的咨询对话数据集的严重稀缺问题,我们通过将 KokoroChat(大规模手动编写的日语咨询语料库)翻译成英文和中文,创建了多语言 KokoroChat。此过程中的一个关键挑战是,最佳翻译模型会因输入而异,因此任何单一模型都无法始终如一地保证最高质量。在咨询等敏感领域,尽可能高的翻译保真度至关重要,因此依靠单个 LLM 是不够的。为了克服这一挑战,我们开发并采用了一种新颖的多 LLM 集成方法。我们的方法首先从多个不同的 LLM 生成不同的假设。然后,单个 LLM 根据对所有提出的假设各自的优点和缺点的分析,生成高质量的翻译。 “多语言 KokoroChat”的质量经过人类偏好研究的严格验证。这些评估证实,我们的集成方法生成的翻译优于任何单独的最先进的 LLM。这种强烈的偏好证实了我们方法输出的卓越质量。多语言 KokoroChat 位于 https://github.com/UEC-InabaLab/MultilingualKokoroChat。