回到未来：面向电子表格创建基准的工作簿时间机器

我们提出workbook time machine，一个自动创建基准的流水线，用于评估语言模型在电子表格中创建派生对象（公式、图表、透视表和条件格式）的能力。将其应用于公开工作簿语料，产出wtmcorpus——一个涵盖四类工件、复杂度各异的（输入工作簿，输出工作簿，查询）三元组集合。从该语料中，我们精选出wtmbench，一个包含150个任务、查询分三级具体度的评估基准。我们在wtmbench上，跨工件类型、步骤复杂度和指令粒度评估现有的电子表格操作智能体与基线。评估表明，查询具体度、智能体编排以及用于控制电子表格的接口API，对大语言模型在Excel任务上的表现影响很大。