工作负载驱动的设备上实时字幕翻译优化

本报告研究了台湾在短输入、短输出、批量大小推理、低延迟和隐私限制下的设备上英译繁体字幕翻译。这些条件限制了为长上下文或高吞吐量语言模型服务设计的优化的价值。从 LMT-60-0.6B 开始，初步分析表明，在 GGUF 量化降低 Transformer 块的相对成本之后，词汇投影成为更重要的解码时间成本。我们用 64k 词元的字幕域标记器替换了原始的 151k 词元词汇，迁移嵌入空间，并通过嵌入校准和完全监督的 微调 来调整模型。在 OpenSubtitles2024 测试集上，在 GPT-4o 成对判断下，LocalSubs 与 Google Translate 的平局排除胜率达到 59.2%。性能在短提示上最强，并随着提示长度的增加而下降。在单独的初步 Apple M2 Metal 分析运行中，LocalSubs 显示比 151k 词汇量基线提高了 1.63 倍。该代码可在 https://github.com/aiden1020/localsubs 上找到。