论文

重新思考代码语言模型中的枢轴编程语言

Rethinking Pivot Programming Languages in Code Language Models

模型评测模型行为与机制分析

摘要

多语言代码语言模型可以跨编程语言 (PL) 传递技能,但是否有任何 PL 占据特权枢纽地位仍然存在争议:几何分析指向 C 系列语言和 Go,而行为证据则强调 Python。我们在 PL 的表征各向异性和长度变化的控制下重新审视这个问题,这两个混杂因素损害了之前基于余弦的分析。在多语言竞争性编程数据的三个代码模型中,我们研究了跨 PL 组织的三种视图:成对 PL 几何、PL-英语对齐以及通过候选 PL 表示空间的枢转检索。结果取决于关系。码码几何揭示了结构化的语言区域,但没有通用中心;代码-英语对齐有利于高级脚本语言;枢轴检索有利于代码到代码和英语到代码传输的不同中间空间。这些发现表明,Python 的特殊作用最好被理解为面向英语的亲和力,而不是普遍的几何中心性。