BidirLM：通过调整和组合因果关系从文本到全模态双向编码器 LLM

将因果生成语言模型转换为双向编码器为 BERT 式架构提供了强大的替代方案。然而，当前的方法仍然有限：它们缺乏对最佳训练目标的共识，遭受大规模灾难性遗忘，并且无法灵活地整合专业生成模型的庞大生态系统。在这项工作中，通过对 Gemma3 和 Qwen3 家族的系统消融，我们确定了推动成功适应的关键因素，强调了经常被忽略的先前掩蔽阶段的关键作用。为了在没有原始 预训练 数据的情况下扩展此过程，我们引入了一种双重策略，将线性权重合并与轻量级多域数据混合相结合，以减轻灾难性遗忘。最后，我们通过将编码器与专门的因果模型合并来增强编码器，无缝地传输特定于模态和领域的功能。这个开源方案专为任何因果解码器 LLM 设计，产生 BidirLM，这是一个由五个编码器组成的系列，在文本、视觉和音频表示基准方面优于替代方案。