面向虚拟实验室规划的LLM生成程序性知识的不确定性管理

教育类虚拟实验室可以让实验训练更具可扩展性、自适应性和可及性，尤其是在学生难以接触实体实验室设施的情况下。然而，编写新的仿真实验室流程仍然代价高昂：教育者必须描述新设备、定义仪器与材料如何交互，并给出可在虚拟环境中执行或评估的有效程序流程。大语言模型可以通过生成详细的实验流程来辅助这一编写过程，但其输出不应被视为可直接执行的计划。它们可能遗漏必要动作、以错误顺序安排步骤，或产生逻辑错误或与实验室设备不兼容的指令。本文提出一个原型框架，用于管理面向虚拟实验室规划的LLM生成程序性知识中的不确定性。该框架旨在通过结构化领域表示与不确定的LLM生成状态转移样本来抽取候选程序规则，将其转化为显式且可检查的约束，并利用这些约束修复不确定的程序步骤，从而降低程序不确定性。尽管其驱动场景是教育类虚拟实验室，但底层问题更具一般性：为结构化交互环境中的行动规划管理不确定的程序性知识。我们在一个涉及实验室仪器、容器、工具和物料转移动作的虚拟实验室领域中演示了该方法。