FramingQA：问题会影响答案吗？测量构图框架效果

我们引入了 FramingQA，这是一个衡量模型对法律、医学、金融和机器人模拟问题框架敏感度的基准。 大语言模型 (LLM) 经常改变他们对与用户暗示立场一致的微妙措辞的反应。这可能会让用户得到的建议受到他们提出问题的方式的影响，而不是受到潜在事实的影响，而在高风险领域，其后果代价高昂。因为在现实场景中，专家从业者和非专家用户都经常询问包含不完整或误导性假设的 LLM 问题，因此模型非常容易受到这些框架的影响。为了测试这一点，我们在三个嵌套级别注入框架偏见：一个框架偏见的问题措辞（根），一个在中性问题之前注入的框架偏见前提（命题），以及一个与框架偏见问题配对的前提（全局）。通过评估四个系列的九个开放模型（3.8B-70B），我们发现每个变体的强大准确性并不能保证固定事实信息下不同措辞问题的稳健性。