轨迹置信度支持可靠且资源感知的临床文本到 SQL 智能体

用于临床文本到 SQL 应用程序的 LLM 智能体通过多个步骤自主推理，但无法评估其自己的推理或输出是否可信。在医疗保健等高杠杆应用中，这会带来严重风险，系统错误可能会造成高昂代价。这些可靠性故障也是资源故障：不正确的推理轨迹将计算预算花费在必须丢弃的输出上。我们引入了 Sentinel，这是一个基于轨迹的、基于分类器的置信层，它分析智能体的推理、代码和数据库输出，以在三个点上决定是否停止：在智能体运行之前拒绝无法回答的问题，在运行中停止注定的轨迹，以及在交付时保留不可信的答案。在这里，利用 Chow 规则，我们在 EHRSQL 共享任务的可靠性分数下优化决策，该分数对给定效用权重的错误答案进行惩罚，并在基准 EHRSQL 上发现，当错误的效用权重较低时，Sentinel 将该分数从 +0.08 提高到 +0.24，远高于拒绝每个问题所获得的 +0.03，随着覆盖率从 84% 下降到 54%，交付答案的准确性从 54% 上升到 69%。 55%。在更高的风险下，我们测试的智能体很少能够可靠地给出答案，Sentinel 会自行检测到这一点，放弃与不受监控的智能体得分 -3.02 相同的 +0.03。同样的停止决策减少了计算量：在低风险下，系统仍然会回答，Sentinel 消除了 13-28% 的智能体步骤，而可靠性成本很少或没有。