iAm.md：通过 Agentic 未知开放词汇领域内省进行机器人技能自我评估

基于大型语言模型泛化能力的 Agentic AI 提供了广泛的潜在应用，包括具体任务的规划。例如，基于基金会模型的实体代理可以在自主机器人场景中生成合理的计划。由于有限的上下文窗口或下一个token预测公式中的幻觉现象，可能会在未确定部署的机器人和观察到的环境是否真正支持所请求的操作的情况下生成行为，这就是我们所说的“接地故障”。由于基础模型推理能力的最新改进，自主机器人行为生成问题可以表述为代码生成问题。我们提出 iAm.md，一个 Markdown 标准和生成框架，允许以补充形式的部署证据来锚定此过程。通过开放词汇语义映射，我们将本地视觉语言检测和对象分割结合起来，并将它们引用到这种中间标准化表示中的持久对象记录， 允许 Agentic 内省。然后，我们在模拟 TIAGo 上的导航和操作任务上研究这项新技术，展示这种标准化表示如何共同支持技能自我评估和可执行任务泛化。