沙丘社区
论文

通过结构化上下文建模与语义动态分析走向基于 LLM 的智能体设计形式化

Toward Formalizing LLM-Based Agent Designs through Structural Context Modeling and Semantic Dynamics Analysis

Haoyu Jia, Kento Kawaharazuka, Kei Okada
智能体系统上下文与知识上下文工程Agent Harness

摘要

当前关于大语言模型（LLM）智能体的研究是碎片化的：对概念框架与方法论原则的讨论常常与底层实现细节交织在一起，使读者和作者都在表面互异的概念激增中迷失方向。我们认为，这种碎片化主要源于缺乏一个可分析、自洽的形式化模型，无法对 LLM 智能体进行与实现无关的刻画与比较。为填补这一空白，我们提出 Structural Context Model，一个从上下文结构视角分析与比较 LLM 智能体的形式化模型。在此基础上，我们引入两个互补的组件，共同覆盖 LLM 智能体研究与开发的完整生命周期：(1) 一个声明式实现框架；(2) 一个可持续的智能体工程工作流 Semantic Dynamics Analysis。所提出的工作流为智能体机制提供有原则的洞见，并支持快速、系统化的设计迭代。我们在猴子-香蕉问题的动态变体上展示了完整框架的有效性，使用我们的方法构建的智能体在最具挑战性的设置下成功率提升最高达 32 个百分点。

通过结构化上下文建模与语义动态分析走向基于 LLM 的智能体设计形式化
图6：示意说明语义子质心如何影响Global Δ Drift。第一个语义子质心由浅蓝色路径点标记，第二个语义子质心由蓝色路径点标记，全文的语义质心由深蓝色路径点标记。随着每个token被追加，当前前缀沿实际的转移轨迹移动，以实线橙色曲线表示。由于语义子质心的存在，前缀逼近整体语义质心的速率（即Global Δ Drift）随时间变化，而不是遵循蓝色虚线所示的最优转移轨迹——后者始终具有最大的Global Δ Drift。Global Δ Drift的突然显著变化表明，当前前缀逼近整体语义质心的方向已发生剧烈改变，从而暗示当前前缀在语义上接近某个语义子质心。