从提示到服务：面向AI驱动虚拟世界的基于SLM的智能体编排网关

随着生成式人工智能功能的扩展，人工智能驱动的虚拟世界面临着日益严峻的架构挑战。用户通过现实世界中的界面以多模态方式进行交互，但他们的请求需要完全不同的人工智能后端模型和计算资源。将这些功能直接嵌入到虚拟世界系统中会降低可扩展性，使维护复杂化，并限制协调跨边缘和云基础设施分布的服务的能力。本文提出了一种基于 SLM 的代理编排网关，这是一种轻量级运行时协调机制，可通过意图驱动的服务路由将虚拟世界客户端与异构 AI 后端解耦。边缘部署的 SLM 对每个用户提示的语义意图进行分类，可配置的服务注册表验证并解析路由决策，并透明地调用选定的后端，从而无需修改客户端应用程序即可在虚拟世界中引入新的 AI 功能。该网关在 InterweldXR 虚拟博物馆测试台内实施和评估。评估表明，紧凑的 SLM 可以充当边缘硬件上可靠的意图路由器，并且特定于任务的微调可以将数十亿参数的模型转换为实用的低延迟路由器。事实证明，将经过微调的十亿参数模型作为路由器与用于生成会话响应的更大 SLM 配对的分层配置可以部署在中端边缘硬件上，并且比将这两项职责委托给单个模型更有效。研究结果表明，SLM 可以支持虚拟世界中的实际 AI 服务编排，并且这项工作为可扩展、可扩展和边缘支持的 AI 交互提供了一个经过评估的架构，使虚拟代理成为分布式生成 AI 服务的接入点。