大语言模型与搜索方法的合并冲突解决：竞争范式的实证比较

背景：软件合并冲突的解决方案正在被两种相互竞争的范式重塑：基于 大语言模型 (LLM) 的生成方法和基于搜索的软件工程 (SBSE) 的优化方法。虽然这两种范式的工具都显示出了前景，但它们的相对优势、劣势和权衡尚未得到很好的理解。目标：本文提出了第一个深入的实证研究，直接比较这些范式，以确定它们在现实场景中的能力和局限性。方法：我们针对 SBCR（一种采用随机重启爬山 (RRHC) 算法的新型 SBSE 方法）评估了 MergeGen（一种基于 LLM 的最先进工具）。该比较使用了来自用 Java、C#、JavaScript 和 TypeScript 编写的开源项目的数千个现实世界冲突。结果：我们的研究结果揭示了基本的权衡。 LLM 范式擅长通过利用学习的模式来解决与不平衡内容的冲突。然而，它在处理非英语内容和大量输入时遇到了困难，这可能会导致分辨率被截断或为空。相反，SBSE 范式展示了跨数据集的卓越泛化能力，并且在平衡冲突方面表现最佳，凸显了其作为稳健、数据独立替代方案的潜力。结论：这两种范式都不是灵丹妙药。我们的研究结果强调了上下文相关的优势，并激励了混合系统的开发，该系统结合了 LLM 和 SBSE 方法的互补功能，以创建更强大、更可靠的合并冲突解决工具。