论文
可移植语义、私有方言:语言模型细胞之间潜在通信的重用和负迁移
Portable Semantics, Private Dialects: Reuse and Negative Transfer in Latent Communication Between Language-Model Cells
摘要
在共享基因组语言模型社会中,有限的证据可见性有利于可重用、价值索引的潜在数据包接口,而父研究中唯一的高性能全局可见模型学习了情节纠缠的代码。这项配套研究询问独立训练的社会是否共享一种数据包语言,严格的零样本传输会失败,以及继承的接口状态是否有助于或损害以后的学习。首先,对六个独立训练的受限社会的所有 30 个有序对进行泄漏控制因果互操作性审计——在密封的保留结构和预先注册的原始/正交/线性/非线性对齐阶梯下——显示六个语义相似的接口不会形成一种原始语言:一个相同的初始化对在两个方向上完全可互操作,第二个显示不对称的部分兼容性,并且所有 26 个交叉初始化方向都失败了每个冻结对齐梯级。其次,在经过测试的分解和单个密封源公式中,源跨度控制将严格的零样本故障定位到新操作员指令的解释和执行。第三,在匹配的适应因子中,全局训练的通信接口充当严重的负转移先验:仅重新初始化数据包读取器、写入器和嘴将最终的深度三精度从 0.169 提高到 0.857。第四,跨越两个受限检查点和两个独立冻结的目标流,继承的接口从未超出新接口控制预先注册的 0.10 裕度。所有主要结论均以接近转移的 17 个州为背景;负转移因子涉及一个全局可见的父队列检查点,而附录则添加了事后标记的全局双胞胎案例研究。