论文
上下文很重要：使用 LLM 评估自动 ADR 生成的上下文策略
Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
摘要
架构决策记录 (ADR) 在保留系统设计背后的基本原理方面发挥着关键作用，但由于相关的创作开销，它们的创建和维护经常被忽视。本文研究了 大语言模型 (LLM) 是否可以减轻这种负担，更重要的是，将历史 ADR 呈现为背景的不同策略如何影响生成质量。我们整理并验证了从 750 个开源存储库中提取的大量连续 ADR 语料库，并系统地评估了跨多个模型系列的五种上下文选择策略（无上下文、All-history、First-K、Last-K 和 RAFG）。我们的结果表明，情境感知提示极大地提高了 ADR 生成的保真度，并且较小的新近度窗口（通常为 3-5 个先前记录）提供了质量和效率之间的最佳平衡。基于检索的上下文选择主要在非顺序或横切决策场景中产生边际收益，而在典型的线性 ADR 工作流程中没有提供统计上显着的优势。总体而言，我们的研究结果表明，上下文工程（而不仅仅是模型规模）是有效 ADR 自动化的主导因素，并且我们概述了工具构建者的实用默认值以及复杂架构设置的有针对性的检索回退。