基于大语言模型的抗幻觉安全规划

大语言模型（LLM）是支持事件响应规划等安全管理任务的有前途的工具。然而，其不可靠性与幻觉倾向仍是重大挑战。本文通过引入一个以LLM作为安全管理决策支持的原理性框架来应对这些挑战。我们的框架将LLM纳入一个迭代循环，其中LLM生成候选动作，这些动作会与系统约束和前瞻预测进行一致性检查。当一致性较低时，我们弃用所生成的动作，转而收集外部反馈，例如在数字孪生中评估动作。随后通过上下文学习（ICL）利用这些反馈来改进候选动作。我们证明该设计可通过调节一致性阈值来控制幻觉风险。此外，我们在一定假设下建立了ICL遗憾的上界。为评估该框架，我们将其应用于一个事件响应用例，其目标是基于系统日志生成响应与恢复计划。在四个公开数据集上的实验表明，与前沿LLM相比，我们的框架将恢复时间最多缩短30%。