论文

NOVA:用于工业推荐系统架构演进的验证感知代理工具

NOVA: A Verification-Aware Agent Harness for Architecture Evolution in Industrial Recommender Systems

智能体系统Agent Harness

摘要

工业广告推荐系统通过架构修改不断改进,但生产迭代仍然是专家密集型的,因为模型拓扑、功能配置和交互模块的协调变化必须满足严格的接口、资源和服务约束。 AutoML 仅限于预定义的搜索空间,而通用 编码智能体 验证可运行性,而不是推荐器特定的语义有效性。因此,可执行的候选者可能会违反架构契约,而缺乏语义诊断和评估结果的结构化重用可能会导致重复无效或无效的修改。我们提出了 NOVA,一种具有验证意识的代理工具,它将生产架构修改组织为在固定评估预算内对具体实现进行多轮搜索。在每一轮中,NOVA 在生产限制下生成多个候选者,拒绝语义违规,并对有效的幸存者进行排名以进行本地测试和离线评估。在各轮中,轨迹记忆将语义诊断、本地测试结果和离线度量变化综合为指导后续搜索的修改方向和禁止模式。在自动化方法相同的最大离线评估预算下,NOVA 实现了最高的有效通过率,在 ScaleUp 上达到 53.3%,在“Literature-to-Production”任务上达到 51.7%。在覆盖服务超过 10 亿用户的广告系统中 5% 流量的生产 A/B 测试中,选定的文献到生产候选方案在三个主要 pCVR 目标中的 GMV 增益分别为 +1.25%、+1.70% 和 +2.02%,绝对 pCVR 偏差相应相对减少,分别为 58.8%、66.7% 和 37.3%。