LLM 准备好进行 HardChoices 了吗？

许多研究注意力都集中在检查 大语言模型 (LLM) 是否存在政治偏见。这项工作主要集中在高层意识形态维度，例如左翼-右翼或进步-保守，并且已经表明，虽然LLM主要是左翼和进步主义倾向，很大程度上模仿了训练数据中的偏见，但他们可以在某种程度上引导他们改变他们在后训练中的偏好。在这篇简短的文章中，我们检查 LLM 在重大实质性社会问题上是否有坚定的立场，同一意识形态阵营的成员经常在这些问题上存在分歧，总结在一个新颖的数据集 \textsc{HardChoices} 中。我们发现，面对这样的质疑，LLM，无论大小，令人惊讶的是很少宣布中立，往往语无伦次，并且在他们确实采取立场的问题上表现出显着程度的一致。