模糊性下的不确定性感知生成和决策

随着功能的快速提高，大语言模型 (LLM) 越来越多地用于许多复杂的现实任务。除了需要深入的知识和推理技能之外，许多任务还表现出高度的主观性，并要求模型的输出是可信的。尽管在训练更好的模型方面取得了很大进展，但决策算法受到的关注较少。在这项工作中，我们提出并评估了基于贝叶斯决策理论和针对辅导和自动同行评审任务的风险规避决策的各种不确定性感知决策算法。具体来说，我们在生成导师回复或评论时考虑了辅导策略和评论分数的不确定性，并使用保形预测来提供策略和分数的保证。我们根据经验发现这些算法可以提高各代的效用，但在模糊性较高时需要谨慎实施。例如，规避风险的规则可能会通过优化通用输出来降低性能，而贝叶斯方法往往性能更好。我们的工作使用决策理论的技术来改进基于 LLM 的决策，并概述了社区面临的开放挑战。