论文
DRFLOW:个性化工作流预测的深度研究基准
DRFLOW: A Deep Research Benchmark for Personalized Workflow Prediction
摘要
深度研究(DR)系统日益用于复杂信息获取任务——但既有工作主要聚焦生成报告与摘要。相比之下——许多企业任务要求智能体识别具体工作流——即行动步骤序列。例如——智能体不应只总结预算政策——而应能确定回答“预算固定时如何申请新编制?”这类问题所需的步骤。因此——我们介绍DRFLOW——评估智能体从异构源预测个性化工作流的基准。每个任务要求智能体从分散源识别相关证据——再用该证据预测用户任务的正确行动步骤序列。DRFLOW含跨五域的100个任务——1,246个参考工作流步骤锚定于超过3,900个来源。我们定义七个诊断指标——覆盖事实锚定、步骤恢复、结构排序、条件消解与个性化。我们进一步呈现DRFLOW-Agent(DRFA)——预测个性化工作流的工作流导向参照智能体。我们表明尽管DRFA较强基线智能体改进(平均F1最高+10.02%)——这些工作流指标上仍有巨大改进空间——表明预测完整正确的个性化工作流仍是深度研究的挑战性前沿。
