论文

DRFLOW:个性化工作流预测的深度研究基准

DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction

智能体系统Agent任务评测

摘要

深度研究(DR)系统日益用于复杂信息获取任务——但既有工作主要聚焦生成报告与摘要。相比之下——许多企业任务要求智能体识别具体工作流——即行动步骤序列。例如——智能体不应只总结预算政策——而应能确定回答“预算固定时如何申请新编制?”这类问题所需的步骤。因此——我们介绍DRFLOW——评估智能体从异构源预测个性化工作流的基准。每个任务要求智能体从分散源识别相关证据——再用该证据预测用户任务的正确行动步骤序列。DRFLOW含跨五域的100个任务——1,246个参考工作流步骤锚定于超过3,900个来源。我们定义七个诊断指标——覆盖事实锚定、步骤恢复、结构排序、条件消解与个性化。我们进一步呈现DRFLOW-Agent(DRFA)——预测个性化工作流的工作流导向参照智能体。我们表明尽管DRFA较强基线智能体改进(平均F1最高+10.02%)——这些工作流指标上仍有巨大改进空间——表明预测完整正确的个性化工作流仍是深度研究的挑战性前沿。

DRFLOW:个性化工作流预测的深度研究基准:论文配图
图 2:DRFlow 任务和评估管道概述。给定任务上下文和异构任务数据,系统加载环境和可用源,生成预测的个性化工作流程,并根据真实工作流程对其进行评估。