论文
ShowTellArena:从演示讲解中评测业务流程理解
ShowTellArena: Evaluating Business Workflow Understanding from Demonstrations
摘要
我们常通过边做边讲解来教同事。如何检验一个 Agent 从同样的教学中理解了什么?我们提出 ShowTellArena,一个面向叙述式业务演示后理解的基准协议与公开数据集。v1.0 版本包含 50 个业务工作流任务,附录制、截图、讲解、测试夹具种子与 502 道问题。任务覆盖财务、招聘、采购、客户决策、库存与物流。协议固定业务场景与测验,同时允许各产品通过自己的教学界面接收课程。问题考察操作规则、边界、异常以及所提议自动化中的错误。我们分析了 39 个工作流案例上的 218 次精选试点尝试,其中包括三个受评系统都尝试过的 28 个案例。这些探索性结果既暴露了答案错误,也暴露了未能完成教学体验的失败。我们说明了该发布版本的验证缺口以及试点覆盖不均、排除项与评分来源。其贡献是一个可检视、可被他人扩展的数据集与评估工作流;所选试点并非受控的产品排名。