论文

面向实时分析的发现代理:迈向主动式洞察系统

Discovery Agents for Real-Time Analytics: Toward Proactive Insight Systems

智能体系统Agent 架构与控制循环

摘要

现代分析系统从根本上是被动的,需要用户在日益复杂且持续演变的数据上定义查询。在实时流式环境中,这一范式难以维系,因为潜在洞察的空间过于庞大,无法人工枚举。我们提出一种用于在实时数据流上进行自主洞察发现的多代理架构。该系统实现了一个持续发现循环:代理生成假设、将其编译为可执行分析、验证生成的制品,并产出可视化与可部署的应用。该架构利用 Apache Kafka 进行事件驱动的协调,利用 Apache Flink 进行流处理,并利用大语言模型(LLM)实现专门的代理。一个关键贡献是基于类型化中间制品的契约驱动设计,它带来模块化、可观测性、血缘追踪以及动态生成分析的更安全执行。通过零售、金融和公共数据领域的用例,我们展示了该架构如何支持从查询驱动分析向主动式、发现驱动系统的转变。

面向实时分析的发现代理:迈向主动式洞察系统:论文配图
图 1. 用于实时分析的合同驱动的发现代理管道。实时数据流或数据集首先转换为结构化元数据,然后由专门的代理转换为排序假设、分析计划、可执行的 Python 和 FlinkSQL(Carbone 等人,2015)工件、验证报告、可视化规范,最后是可部署的分析应用程序。每个阶段都会生成支持沿袭、可观察性、验证和人工监督的类型化中间工件。架构图显示流经元数据提取、假设生成、分析规划、代码生成、验证、可视化和部署阶段的实时数据流和数据集。