论文

如何用成文化的人类专家领域知识增强LLM来构建AI智能体?一个软件工程框架

How to Build AI Agents by Augmenting LLMs with Codified Human Expert Domain Knowledge? A Software Engineering Framework

智能体系统Agent Harness

摘要

关键领域知识通常掌握在少数专家手中,造成可扩展性与决策的组织瓶颈。非专家难以创建有效的可视化,导致洞见欠佳并占用专家时间。本文通过一个工业案例研究,调查如何把人类领域知识捕获并嵌入 AI 智能体系统。我们提出一个软件工程框架,用于在仿真数据可视化中为工程化 AI 智能体捕获人类领域知识,其做法是用请求分类器、用于代码生成的检索增强生成(RAG)系统、成文专家规则与可视化设计原则来增强大语言模型(LLM),统一于一个展示自主、反应、主动与社会行为的智能体。跨多个工程领域的五个场景、12 名评估者的评估显示,输出质量提升 206%,我们的智能体在所有情形下达到专家级评分,而基线表现糟糕,同时保持更优且方差更低的代码质量。我们的贡献包括:一个自动化的基于智能体的可视化生成系统,以及一个经验证的框架,用于系统捕获人类领域知识并把隐性专家知识成文到 AI 智能体中,证明非专家也能在专门领域取得专家级成果。

如何用成文化的人类专家领域知识增强LLM来构建AI智能体?一个软件工程框架
图11:所提出的由系统生成的平行(放射状)图,带有增强的高亮显示与图例