论文

CIPHER:面向数据科学智能体测试时扩展的解耦探索—选择框架

CIPHER: A Decoupled Exploration-Selection Framework for Test-Time Scaling of Data Science Agents

模型推理测试时计算扩展

摘要

数据科学任务横跨从封闭式信息抽取到开放式分析——对自动化构成显著挑战。近期由语言模型驱动的AI智能体展现处理此类复杂任务的前景。但既有智能体通常依赖单一初始状态——它条件化整个智能体执行,使其易受次优初始状态引发的级联错误影响。为缓解此点,我们提出CIPHER:一个利用测试时扩展的自动化数据科学智能体——通过生成与选择多个初始状态并发执行。与既有的AI智能体测试时扩展工作不同,CIPHER显式解耦候选初始状态的生成与它们的策略性选择以并行执行。经在两个基准(封闭式与开放式任务)上的大量评估:CIPHER在匹配模型比较中超越最先进表现,且尽管依赖小得多的基座LM,仍与更大模型基线保持竞争力。我们的实证研究刻画解耦探索—选择(DES)框架的设计空间:量化生成策略、选择策略与聚合器模型容量对总体表现的贡献,并为从业者导出可操作的设计建议。

CIPHER:面向数据科学智能体测试时扩展的解耦探索—选择框架:论文配图
图 1:CIPHER 执行路线。系统生成NN个初始状态,选择MM并发执行,然后聚合信息进行输出。