论文

实践中的提示链接:自动生成学术报告的案例研究

Prompt Chaining in Practice: A Case Study in Automated Scholarly Report Generation

上下文与知识上下文工程

摘要

学术出版物的指数增长需要自动化工具来进行有效的信息合成。然而,简单的单次提示方法通常缺乏复杂合成任务所需的可靠性和质量。本文介绍并实证评估了多阶段提示链接方法,作为此类任务的更可靠的架构模式。这种方法在我们的系统 AI SciBrief 中实现,该系统会自动生成学术摘要。我们进行了一项比较实验,根据精心优化的单次基线来测量我们的即时链接方法的性能。这两个系统均根据人类撰写的“教育”领域“黄金标准”报告进行评估。结果表明可靠性存在显着差异:我们的提示链接方法实现了 100% 的成功率,而优化的基线在 50% 的运行中失败。在质量方面,所提出的方法也表现出了明显的优势,主要由更高的精度驱动,实现了出色的 ROUGE-L F1 分数(0.507 比 0.486)。我们的结论是,对于复杂的多步骤生成任务,提示链接是一种更可靠、更有效的工程方法,可以显着降低整体提示中固有的失败和不一致的风险。