论文
DelistBench:评估启用搜索的 LLM 以实现可审核的公司事件数据库完成情况
DelistBench: Evaluating Search-Enabled LLMs for Auditable Corporate-Event Database Completion
摘要
金融机构需要一种独立的方法来检测供应商数据库中丢失、陈旧和错误分类的公司事件记录。我们引入了Search-to-Record,这是一项数据库保证任务,其中支持搜索的大语言模型从公共来源重建机构定义的事件记录,以获取已知的安全范围和历史截止点,以及DelistBench,这是一个用于安全级别除名公告的1,200条记录基准。我们在配对闭卷和网络条件下评估了五个模型。网络访问将 7 天内的公告日期准确性提高了 34.0 至 48.0 个百分点,将事件状态准确性提高了约 2.8 至 21.7 个百分点;最好的系统在 7 天内达到 81.5% 的整体关节精度。经济 Web 系统在 7 天内实现了 75.9-78.3% 的整体关节精度,而 API 成本仅为最昂贵 Web 系统的 4.5-6.6%。基于风险的分类可识别低错误子集,尽管最高覆盖率操作点仍会发送 27.3% 的平衡测试集进行审查。该评估将网络检索确定为计时增益的主要来源,并表明低成本系统可以接近最佳系统的准确性。 Search-to-Record、DelistBench 和评估共同提供了具体的部署指导:根据当地事件发生率和市场组合校准分类,保留积极事件回忆,并将积极和模糊的案例路由到有针对性的审查。