以业务为中心的 LLM 系统的验收测试驱动的评估协议

人们越来越期望 大语言模型 (LLM) 应用程序能够满足确定性机构要求，同时依赖概率生成组件。这种不匹配使得普通的事后基准测试不足以满足必须安全、可靠、可审计且经济实用的系统。本文为基于验收测试驱动的开发、安全工程和以业务为中心的验证的可操作 LLM 系统提供了评估协议扩展。在接受提示、模型、检索或代理更改之前，该扩展将利益相关者的目标转换为可执行的行为合同、发布门、监控信号和证据工件。它将测试驱动开发的红绿重构规则适应红火车绿生命周期：首先定义所需行为的失败验收测试，然后通过提示更改、检索设计、微调、护栏或数据增强来改进 LLM 系统，最后仅在满足多维门时发布。其贡献是一个面向治理的度量堆栈、参考架构和经验协议，用于将验收测试驱动的 LLM 开发与提示优先和基准测试后工作流程进行比较。