SAGE：用于拨款审查的模式引导大语言模型

拨款评审员必须对申请表、预算和支持文件应用详细的标准，同时进行同事可以检查的评估。我们提出了 SAGE（模式引导的基于方面的拨款评估），这是一个将拨款规则转化为结构化检查并将其判断与申请包中的证据联系起来的系统。我们分两个阶段对 35 份非营利资助申请进行 SAGE 评估。与原始竞赛中的 105 条评论进行事后比较，结果显示顺序一致（kappa = 0.29）。该基金会在检查 SAGE 后进行了标准级别的重新审查，产生了 202 项评估。在这一轮辅助中，SAGE 达到了 kappa = 0.58，并且优于每个标准一个提示的基线（公共子集上的 kappa = 0.33），具有更高的秩相关性和更低的误差。索赔级别审计进一步识别结构化草案中已确认、有争议和未解决的部分。 SAGE 通过生成详细的、有证据的、可审计的草案供专家修正来实施审查方法。