论文
从词典到人工智能:用于低资源语言专业对话系统的结构化数据管道
From Lexicon to AI: A Structured-Data Pipeline for Specialized Conversational Systems in Low-Resource Languages
摘要
资源匮乏的语言在人工智能开发中面临着严峻的挑战:在无法访问大量训练语料库的情况下创建专门的对话系统。我们提出了一种将结构化语言资源转化为专门的人工智能系统的系统方法,证明专家策划的词汇数据库可以作为对话式人工智能开发的有效基础。我们的方法将 Hindi WordNet 转换为 125 万个不同的指令响应对,使用具有 4 位量化的资源高效型 LoRA 微调 12B 参数语言模型。通过印地语学习聊天机器人进行的评估表明,基于结构化知识的系统实现了卓越的教学效果(通用模型为 91.0 对比 79.4-83.6),同时保持有竞争力的语义性能和卓越的一致性。完整的管道展示了一种使用印地语的概念验证方法,用于为具有 WordNet 资源的任何语言开发专门的人工智能系统。这项工作解决了低资源语言在人工智能可访问性方面的关键差距,为语料库密集型方法提供了一种实用的替代方案,并有可能利用现有的 WordNet 资源为数百种语言进行专门的人工智能开发。