论文
2D 和 3D 环境中 LLM 和 VLM 驱动代理的最小局部仿真基础
Minimal Local Simulation Foundations for LLM- and VLM-Driven Agents in 2D and 3D Environments
摘要
大语言模型 (LLM) 和视觉语言模型 (VLM) 正在扩大可在基于代理的模拟中表示的行为范围,但许多当代平台难以在普通计算机上研究、修改或运行。我们特意提出了两个用于教育和快速原型制作的最小模拟基础。 SD-AgentFoundry-2D 提供了一个二维多代理环境,其中本地托管的 LLM 代理可以移动、通信、响应位置占用以及遇到空间局部火灾事件。 SD-AgentFoundry-3D 提供了一个三维数字孪生环境,其中本地托管的 VLM 接收第一人称图像并生成自然语言移动指令。这两个代码库都设计为在 macOS、Windows 和 Linux 上本地运行,并且故意保留开放性以供修改,而不是开发为最终的应用程序。它们共同为学习生成社交模拟和构建特定领域的扩展提供了可访问的起点。