论文
CryptoAnalystBench:多工具长格式 LLM 分析失败
CryptoAnalystBench: Failures in Multi-Tool Long-Form LLM Analysis
摘要
现代分析代理必须对复杂的高词元输入进行推理,包括数十个检索到的文档、工具输出和时间敏感数据。虽然之前的工作已经制定了工具调用基准并检查了知识增强系统中的事实性,但相对较少的工作研究了它们的交叉点:LLM 必须集成大量动态、结构化和非结构化多工具输出的设置。我们使用加密作为代表性的高数据密度域来研究这种情况下的 LLM 故障模式。我们介绍 (1) CryptoAnalystBench,这是一个分析师一致的基准,涵盖 11 个类别的 198 个生产加密货币和 DeFi 查询; (2) 配备相关加密和 DeFi 工具的代理工具,可生成跨多个前沿的响应 LLM; (3) 具有引文验证和 LLM 作为评判标准的评估管道,涵盖四个用户定义的成功维度:相关性、时间相关性、深度和数据一致性。使用人工注释,我们开发了七种高阶错误类型的分类法,这些错误类型不能通过事实检查或基于 LLM 的质量评分可靠地捕获。我们发现,即使在最先进的系统中,这些失败仍然存在,并且可能会损害高风险的决策。基于这种分类法,我们改进了评判标准,以更好地捕捉这些错误。虽然法官在跨评分标准迭代的精确评分方面与人类注释者不一致,但它可靠地识别关键故障模式,为研究分析师风格代理的开发人员和研究人员提供可扩展的反馈。我们发布了 CryptoAnalystBench,其中包含带注释的查询、评估管道、判断标准和错误分类法,并概述了评估长格式、多工具增强系统时的缓解策略和开放挑战。