论文
CA-BED:对话感知贝叶斯实验设计
CA-BED: Conversation-Aware Bayesian Experimental Design
摘要
大语言模型(LLM)擅长静态推理任务,但在必须通过提问主动获取信息的交互场景中,其性能往往会下降。一个关键的挑战在于选择可以减少不确定性的问题,同时纳入可能不明确或仅提供部分信息的答案。为了解决这个问题,我们提出了对话感知贝叶斯实验设计(CA-BED),这是一种推理时间概率对话规划框架,它将贝叶斯实验设计与基于 LLM 的似然估计相结合,以优化多个对话回合的问题选择。 CA-BED 维持假设的置信分布,预测可能的答案,并通过模拟对话树传播预期的信息增益。在两个结构化实体推导基准中,CA-BED 的成功率比直接提示平均提高了 21.8%,与其他信息寻求方法相比,其收益也相当。与直接提示相比,它仅平均增加了 1.8 个对话轮数,就实现了这些收益。