论文
HASTE:面向迁移高效ML工程 hierarchical技能积累
Why Solve It Twice? Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering
摘要
机器学习工程代理浪费计算资源来重新发现已知技术,因为每场比赛都是冷启动。我们提出了 HASTE,一个分层的多代理系统,它将交叉竞争知识组织成三个范围层(全局、领域和特定于竞争的),每个层都耦合到一个匹配的代理级别。协调者协调领域专家,并通过大语言模型驱动的抽象促进各层之间的学习。受控消融为范围加载提供了证据:在 8 场比赛中保持 159 个技能库存不变,分层加载实现 100% 的奖牌率,而扁平加载仅达到 62.5%,与不加载技能相同的奖牌率,并消耗 2 倍的输出词元。在完整的 MLE-Bench Lite 基准测试(22 场 Kaggle 比赛)上,HASTE 使用 Claude Sonnet 4.6 在每场比赛 12 小时内达到了 77.3% 的奖牌率;这是单种子活动的结果,多种子复制是优先后续行动。在冷启动运行中,系统开始时没有积累技能。在热启动运行中,它会重新加载从早期比赛中学到的技能,仅使用全局和领域级技能进行跨比赛转移。热启动使用的细化迭代减少了 52%,一旦有 50 多种技能可用,代理保留的建议变更比例就会从低库存时的 42% 上升到 85%。这些结果表明,更好的知识组织可以部分替代 ML 工程代理中的模型强度和计算预算。