论文
Melo:一款 LLM 驱动的音乐推荐代理
Melo: A Production LLM-Powered Music Recommendation Agent
摘要
我们描述了 Melo,一个部署在网易云音乐上、由 LLM 支持的音乐推荐代理。 Melo 的结构是异构工具上的确定性五节点状态图,具有提示和状态机驱动的编排策略,而不是微调控制器。在工业规模上,瓶颈不在于大脑有多聪明,而在于系统如何检测大脑所犯的错误并从中恢复。两种生产故障模式推动了设计:实体幻觉,其中代理致力于实时目录或用户行为索引不支持的解释;以及长尾退化,其中过度约束的请求崩溃为通用的流行后备。我们通过两种互补机制来解决这些问题。推理时实体基础将生产搜索索引重新用作验证原语,在实体决策向下游传播之前对其进行门控。反思性重试将损坏的工具链中的失败原因表述出来,并将其反馈到下一个计划步骤中,以便系统可以放宽或修改约束,而不是盲目回退。对网易云音乐播放列表表面进行的为期一个月的在线 A/B 测试报告显示,主要播放列表保留指标提升超过 2 个百分点,核心播放列表参与度指标提升超过一分钟。离线消融将我们评估集上的三层实体依据对齐机制的实体错误识别率减少了 7.8 pp,并且我们评估集上的触发会话分析显示,反射重试触发了 5.8% 的会话,并实现了 59% 的进程级恢复。我们的部署经验表明,这种规模的 LLM 支持的音乐推荐的进展不仅取决于大脑本身,还取决于命名的、可消融的运行时机制,该机制捕获并纠正大脑的错误:这是我们提供给社区测试的假设。