我是否本该表达不同的意图？面向LLM自主控制的反事实生成

摘要

由大语言模型（LLM）驱动的智能体可将高层用户意图转化为环境中的计划和动作。然而，在观察到结果后，用户可能会想：如果我用不同方式表述意图会怎样？我们引入一个在Agentic LLM驱动的控制场景中实现此类反事实推理的框架，同时提供形式化可靠性保证。我们的方法将用户、基于LLM的智能体和环境之间的闭环交互建模为结构因果模型（SCM），并利用测试时扩展通过概率溯因生成多个候选反事实结果。通过离线校准阶段，所提出的保形反事实生成（CCG）产生以高概率保证包含真实反事实结果的反事实结果集合。我们在无线网络控制用例上展示CCG的性能，与朴素的重新执行基线相比展现出显著优势。

我是否本该表达不同的意图？面向LLM自主控制的反事实生成 — 图1：(a) 本文研究的智能体框架示例：网络运营商以提示（prompt）形式向基于 LLM 的智能体提供意图（intent）。智能体将该提示转换为动作，用于配置网络。网络执行该动作，并以 KPI 的形式向 LLM 返回环境反馈，LLM 对其进行处理并汇总为给运营商的报告。(b) LLM-环境交互模型：用户提供提示 X，LLM 将其映射为动作 A。环境执行动作 A 并产生反馈 Z。随后 LLM 将 (X,A,Z) 结合起来生成响应 Y，返回给用户。(c) 给定一个事实情景 T=(X,A,Z,Y)，网络运营商选择一个反事实提示 X′。在观测到的事实情景 T=(X,A,Z,Y) 下，我们的目标是估计反事实报告 Y_{X′}(T)：在相同条件下，若输入提示是 X′∈ℰ(X) 而非 X，用户本应收到的报告（示例见图2）。