AWS 借 Pushpay 实践讲解用 Amazon Bedrock 构建可评测智能体的方法

这篇AWS机器学习博客以捐赠与教会参与平台 Pushpay 的落地过程为主线，属于方法指引而非单一客户成绩单。Pushpay 面向教会与信仰组织，其AI搜索功能让缺乏技术背景的教职人员用自然语言查询社区数据，例如「列出今年尚未捐款的小组成员」，数秒内得到可行动的洞见，早期用户称获取洞见的时间从分钟级降到秒级。架构上，用户查询进入由系统提示词与动态提示构造器（DPC）组成的AI搜索Agent，DPC依据教会上下文、示例查询与筛选项清单，用语义检索从数百个筛选项中挑出相关子集以提升回答准确性，底层使用 Amazon Bedrock 的多项托管能力。文章重点在评测方法：团队自建生成式AI评测框架，配合快速迭代反馈回路持续质检，把原型阶段60–70%的准确率提升到上线前评测口径的95%。需注意：60–70%为原型阶段指标，95%为上线前评测结果，上线后真实流量下的表现与统计周期文中未披露。