迈向可靠、实用的评测流水线

基于LLM的软件系统越来越需要有效的“评估”作为开发生命周期中的质量关卡。然而，现有的工作通常涉及评估可靠性的各个方面，而不是全套的实际要求。我们提出了一个端到端的评估管道，它将评估清单创建与清单响应的学习聚合相结合，以提高LLM法官之间的一致性和针对人类判断的准确性。该框架还提供了自洽性、解释和预测不确定性，我们凭经验证明了其有效性。