论文

KC-Agent:高效改进机器学习模型的双过程认知架构

KC-Agent: A Dual-Process Cognitive Architecture for Efficient ML Model Improvement

智能体系统上下文与知识记忆Agent 架构与控制循环Agent记忆

摘要

数据漂移在生产环境中对机器学习系统构成了重大挑战,要求持续更新模型以保持性能。我们提出了一种名为KC-Agent的双过程认知架构,用于自动化的机器学习模型改进,该架构结合了快速模式识别(系统1)与有意识的增量更新(系统2)。我们的方法实现了结构化记忆系统,使系统1能够利用系统2之前发现的成功解决方案,从而实现高效的模式响应,而不进行昂贵的重新计算。KC-Agent还采用了原子变化原则和回滚功能,以确保在生产环境中可靠的可验证更新。我们评估了我们的方法在五个数据集上进行,包括真实世界的NASA涡扇数据,具有真实的时序退化,以及控制退化的合成数据集。KC-Agent在准确性上达到最佳状态(76.8%的准确率),同时保持最佳效率(13.2秒的执行时间),超过了现有的认知架构:CodeAct(+2.4%)、Tree of Thoughts(+3.6%)、ReAct(+8.0%)、和Reflexion(+8.9%)。通过一组最先进的LLMs的共识评估,确认了更高的战略效用(Smartness score 8.33/10),显著优于基准代理。知识整合机制实现了与慢版本相比的91%的性能提升,同时保持更高的准确率。我们的方法展示了理论基础和实际可行性,对于基于认知的自动机器学习改进系统,能够在处理复杂的现实世界数据漂移场景中处理复杂的数据。

KC-Agent:高效改进机器学习模型的双过程认知架构:论文配图
图3 :显示KC-Agent处理漂移场景的改进流程示例。系统1根据存储的模式应用快速再培训。不足时,系统2通过原子变化进行系统改进,包括超参数优化、模型选择和集成方法。