CodeForge-MA：使用语言条件 LoRA 进行执行验证的多智能体学习，用于多语言代码生成

用于代码生成的大语言模型通常在执行、多语言覆盖和污染控制方面失败，特别是在冻结的骨干模型约束下。我们推出了 CodeForge-MA，这是一个统一框架，通过多智能体数据伪造、执行验证的强化指令调整以及 LoRA 适配器的语言条件混合来改进代码合成。四个专门的智能体、Composer、Reviewer、Executor 和 Curator，迭代地细化指令代码对，通过测试对其进行验证，并过滤重复项和基准泄漏。在训练期间，我们将屏蔽监督微调与测试驱动的强化目标相结合，以使各代与可执行的正确性保持一致。对于较大的模型，我们在低秩适配器上使用稀疏专家路由来改进跨语言传输，同时在推理时保持基本模型不变。实验表明，联合数据、目标和适配器设计可以在各种编程语言中产生强大的收益。