办公室理解基准

我们推出 Office Commination Bench (OCB)，这是第一个公共基准测试，用于联合评估 LLM 系统对本机文件格式（.docx、.xlsx、.pptx）及其变体的 Word、Excel 和 PowerPoint 理解能力。 OCB 由两个轨道组成。文件保真度问答测试办公工件的结构和视觉感知 - 表格、图表、嵌入图像、公式和特定于应用程序的元素，例如标题、演讲者注释和命名范围。领域问答测试基于 12 个专业领域的真实行业文档的专家级推理，查询需要跨文档进行多步骤分析和综合。每个参考答案都被分解为原子的、二进制可分级的声明，并且 LLM 的集合会根据每个声明独立地对响应进行评分。即使最强的前沿系统在默认推理模式下，在领域问答上也只能达到 59.3% 左右；增加某一层内的思考深度不会对性能产生实质性影响，而转向更高的产品层会产生适度的收益。我们发布数据集、评估工具、判断提示和公共排行榜。