论文

Auto-RecSys:利用自主研究代理实现行业规模的推荐系统

Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender System

智能体系统Agent Harness

摘要

自动研究代理已显示出自动化假设生成、实验执行和迭代细化的潜力。然而,将此范式扩展到行业规模的推荐模型会带来两个挑战:(1)反馈循环较长,模型训练 可能需要数天时间,使得串行迭代速度极其缓慢,并且需要跨多个研究方向并行探索; (2) 系统复杂性,其中大型配置、脆弱的基础设施依赖性和多天的 GPU 作业需要强大且可恢复的执行。我们推出 Auto-RecSys,这是一个用于对行业规模推荐模型进行长期实验的自主研究系统。 Auto-RecSys 通过三种工具设计解决了这些挑战:(1) 分布式异步执行,用于跨服务器并行运行多个实验;(2) 集中式跨服务器内存,用于跨会话和故障进行持久且可恢复的执行;(3) 认知程序分离,其中自然语言技能文件指导 LLM 推理,而确定性脚本强制操作正确性。 Auto-RecSys 进一步采用双循环自演化架构:执行演化循环,其中特定于模型的剧本通过记录失败的尝试和具体化成功的管道来积累操作知识,以及想法演化循环,其中实验结果通知后续的想法。根据推荐模型进行评估,Auto-RecSys 显着减少了每个实验周期所需的人工时间,并随着其剧本的成熟提高了执行可靠性。