Vibe 编码中文并不比英文高效：词元成本和问题解决率初步研究

社交媒体和从业者论坛上流传着这样一种说法，即对于 LLM 编码任务，中文提示比英文提示更有效，可能会降低高达 40% 的成本。这一说法影响了开发人员考虑改用中文进行“vibe 编码”，以节省 API 成本。在本文中，我们使用软件工程任务基准 SWE-bench Lite 进行了严格的实证研究，以评估这种中国词元效率的说法是否经得起审查。我们的结果揭示了三个主要发现：首先，没有观察到中文的效率优势。其次，词元成本因模型架构而异​​，这违背了简单的假设：虽然 MiniMax-2.7 显示中文的词元成本高出 1.28 倍，但 GLM-5 实际上在中文提示下消耗的词元更少。第三，也是最重要的，我们发现在我们测试的所有模型中，中文提示的成功率普遍低于英文提示的成功率。我们还将成本效率衡量为每个成功任务的预期成本——共同考虑词元消耗和任务解决率。鉴于由于资源限制，评估的模型数量有限且测试的基准范围狭窄，这些发现应被解释为初步证据，而不是明确的结论；他们表明语言对词元成本的影响取决于模型，并且从业者不应期望仅仅通过将提示语言切换为中文来节省成本或提高性能。