广东残疾人就业促进会以多模态模型理解手语

近日，火山引擎联合字节跳动公益向广东省残疾人就业创业促进会捐赠豆包大模型技术服务，助力其与好丫助残团队联合研发的「好丫」手语翻译机完成关键升级——从「手势单词识别」跃迁为「多模态深度语义理解」。依托豆包大模型，翻译机可同时识别手部动作、空间语法、面部表情与上下文逻辑，支持长句和模糊动作，把手语者想表达的意图完整还原：听障者比手语即可实时转出语音文字，对方说话时由屏幕上的数字人同步打出手语，实现双向即时沟通。广东省残疾人就业创业促进会会长林钦亮称，接入豆包大模型后双向翻译更自然、更贴合实际场景。文中引用的背景数据为我国近 2780 万听障人士长期面临就医、政务、求职等沟通困境。