用于校准证据合成中基于提示的 大语言模型 工作流程的可重复优化协议

本文介绍了结构化证据合成任务中基于提示的 大语言模型 (LLM) 的可重复校准工作流程。该方法将定义科学任务的规则与构建和应用它们的可变提示工具分开。它根据标记或参考示例以及明确的任务指标来优化该利用，然后将校准的工作流程保留为可检查的工件及其规范、指标、设置和评估跟踪。示例代码使用 DSPy 和 GEPA 工具实例化协议，但底层逻辑可以转移到其他支持结构化任务定义、指标引导搜索和工件重用的提示优化框架。标题和摘要筛选是有效的验证案例，因为它提供了标记的基准数据和清晰的评估指标。演示的工作流程使用较小的学生 LLM 来执行科学任务，并使用较大的反射 LLM 在校准期间引导提示优化过程。这项工作展示了编译、工件往返以及优化预算如何影响较小的学生模型。