AgentR 用于基于 LLM 的可审核工作流程的状态和恢复感知软件架构

现代基于 LLM 的应用程序越来越需要多阶段执行、持久中间状态、重试语义和可审计的使用情况统计。然而，许多 LLM 应用程序仍然被实现为无状态的提示响应包装器或会话限制的对话系统，这使得它们在中断或故障后难以恢复、审计和重现。我们提出了 AgentR，它是 LLM 工作流系统的有状态架构，能够实现持久性和恢复，并通过科学文献综述实例化为代表性用例。 AgentR 将研究意图、生成的查询、候选论文评估和差距分析表示为持久的工作流程工件，并通过 Redis 支持的异步 BullMQ 工作线程执行管道，并使用 PostgreSQL 作为持久存储。该设计包括显式处理状态转换、指数退避重试、孤立作业检测、信用感知预检查、ACID 词元成本日志记录和 Type-2 缓慢变化的定价记录。我们根据从原型部署收集的遥测数据来评估 AgentR。在 LLM 阶段，系统实现了 99.2% 的作业完成率，意图分解、查询生成和论文评分的平均延迟分别为 9.0 秒、18.9 秒和 25.4 秒。并行评分允许根据观察到的调用进行分析延迟建模，从而使顺序执行速度提高 4.3 个挂钟。结果提供了初步的概念证明，即持久状态机设计、异步编排和成本感知使用日志记录可以提高 LLM 工作流系统中的可观察性、可恢复性和操作责任性。 AgentR 的原型实现可在以下网址公开获取：https://github.com/RiyaSamanta/AgentR-public。