论文
值得信赖的自组合大数据即服务:LLM 协调的多代理框架,用于自动化数据工程、AutoML、MLOps 部署和漂移感知生命周期优化
Trustworthy Self-Composable Big-Data-as-a-Service: An LLM-Orchestrated Multi-Agent Framework for Automated Data Engineering, AutoML, MLOps Deployment, and Drift-Aware Lifecycle Optimization
摘要
大数据即服务 (BDaaS) 平台需要在数据摄取、清理、功能工程、模型开发、部署和部署后监控方面实现可靠的自动化。然而,现有的基于 LLM 的数据科学代理和 AutoML 系统主要关注孤立的工作流程阶段,对生命周期级编排、工件治理、人工监督和漂移感知适应的支持有限。本文提出了一种基于 LLM 编排的多智能体协作的值得信赖的自组合 BDaaS 框架。所提出的架构将 BDaaS 生命周期分解为专门的代理,用于数据摄取、数据清理、特征工程、AutoML 训练、模型评估、MLOps 部署、监控和漂移检测。中央 LLM 或胸部管理层协调代理执行、验证中间输出、管理工作流上下文并支持动态工作流组合。该框架还整合了共享工件治理、可重复性支持、人机交互检查点和漂移感知反馈循环。基于原型的评估是使用受控表格基准数据集进行的,其中包含缺失值、分类变量、异常值、类别不平衡和模拟协变量漂移。与手动 ML、仅 AutoML 和单代理 LLM 基线相比,所提出的多代理 BDaaS 管道实现了有竞争力的预测性能,同时提高了生命周期级别的可靠性,包括工作流完成、工件可追溯性、部署就绪性、可重复性和偏差恢复。结果表明,LLM 协调的多代理系统可以将传统的 AutoML 扩展到值得信赖、自适应和面向生产的 BDaaS 生命周期自动化。