MortarBench：评估抵押贷款发放机构

贷款发放是贷方创建新贷款的过程，从申请和承销到批准和融资。该过程在评估申请人的资格和风险水平方面发挥着关键作用。最近，尽管缺乏任何公共基准，但公司已开始使用抵押贷款代理来增强人力信贷员的能力。为了填补这一空白，我们推出了 MortarBench，一种贷款发放代理基准。 MortarBench 使用金融数据合成和变异管道来生成具有广泛边缘案例覆盖范围的示例，这些示例与现实世界的分布和问题相匹配。我们发现最先进的 大语言模型 (LLM) 表现不佳，闭源模型最多达到 77.1% 的精确匹配精度。我们还发现 LLM 对与非英语名称相关的外国人的认知存在系统偏差。注意到这些弱点，我们引入了 CRIT，一种置信度校准框架。我们的方法将准确率提高到 80.5%，同时改进风险管理指导并减少偏差。