由大语言模型编排的未知环境词汇发现

摘要

部署在未知环境（如行星或深海探测）中的自主智能体群体必须发展出共享词汇，以指称在任何人类语言中都无名的实体。我们提出神经符号词汇发现（NSLD）框架，其中基于 LLM 的智能体群体围绕分布外视觉指涉物进行指涉游戏，自主自组织出一套共享的外星词典。每个智能体组合了冻结的 CLIP 视觉编码器、私有 FAISS 向量索引和纯文本 LLM。关键在于，被发现的外星词通过嵌入空间中的语义邻近锚定到自然语言上，用新的感知锚定词扩充人类词汇。在多达二十个智能体和十个视觉指涉物的模拟中达成了共识。收敛动力学通过三个分析模型得到刻画，R² > 0.95，这是迈向自主探索任务部署前规划的第一步。

由大语言模型编排的未知环境词汇发现：论文配图 — 图 1：神经符号词汇发现 (NSLD) 框架概述。 (a) 假设行星探索场景中 NSLD 框架的概念图。一群自主机器人必须共同开发一个共享的基础词汇来指代无法命名的视觉实体。显示了三个代表性的互动结果：先前锚定的成功回合（左上）；通过信心驱动的词汇修订解决了失败的一轮（右上）；在第一次接触回合中，听话者会听从说话者更自信的选择（右下）。行星环境和机器人群的描述仅用于说明目的，在本工作中并未进行模拟。图中描绘的机器人 3D 模型复制自 NASA 3D 资源库 [13]。 (b) 外来词通过共享嵌入空间中的语义接近性锚定到自然语言。 (c) NSLD 框架的总体架构，其中成对的代理通过锚定参考博弈进行交互。 (d) 所有实验中使用的 OOD 视觉指示物的综合数据集，使用 Nano Banana 生成。虽然是人工智能生成的，但这些图像构成了实际的实验数据集。