LLM 可以从源代码提交中提取架构设计决策吗？ - 初步探索性研究

背景：架构设计决策 (ADD) 捕获了软件系统的结构和演化背后的基本原理，但很少明确记录，并且通常隐藏在源代码提交中。恢复它们对于架构知识管理 (AKM) 非常重要。问题：由于 ADD 的隐式和非结构化性质，从提交中提取 ADD 具有挑战性。 大语言模型 (LLM) 在理解代码和文本方面表现出了强大的能力，但其对此任务的有效性仍未得到充分探索。研究：我们使用四个 LLM（Gemini 3 Pro、DeepSeek R1、Kimi K2、Qwen3）进行初步研究，并使用 Zeroshot 和 Fewshot 提示对来自开源项目的 30 个开发人员编写的 ADD 进行提示。我们使用 ROUGE-L、BLEU、METEOR 和 BERTScore 对输出进行评分，并且一位作者手动审查 Gemini 输出。结果：所有模型的 BERT-F1 均达到 0.81 以上，fewshot 提示改善了对齐（Gemini BERT-F1：0.828 至 0.847）。然而，生成的 ADD 通常太长、以实施为重点，并且错过了决策背后的基本原理。这凸显了架构感知型 LLM 系统和自动化 AKM 的机遇。