意义表征是可诱导的接口

意义表示（显式的、每个标记的意义​​分解）对于消歧、引导和跨语言对齐很有用，但现有的方法需要使用嵌入的意义结构对模型进行预训练。我们引入了 ACROS，它通过门控残差添加将显式的意义路径引入到冻结的预训练解码器 LM 中。在 SmolLM2-360M 上，ACROS 保留了基本 LM 质量，同时支持相同诱导变量的三种用途：零样本词义消歧（Raganato ALL 上的 64.95 F1，与 WordNet 第一感觉启发式竞争）、跨 5,161 个 CoInCo 案例的低 KL 词汇转向，其中简单的非预言代理恢复了大约 90% 的正转变，以及 SENSIA 跨语言适应到四个语言（平均值 R@1 0.988，目标 FLORES PPL 7.94）。 ACROS 使有意义的表示成为普通预训练 LM 的可诱导接口。