自我一致性是否可以提高对百科全书知识的回忆？

虽然众所周知，自我一致性可以提高符号推理的表现，但由于缺乏有针对性的评估依据，其对百科全书知识回忆的影响尚不清楚。为了解决这个问题，我们通过应用先前工作中的数据驱动启发式方法，为流行的 MMLU 基准建立了这样的知识回忆分割。我们通过显示符号推理和知识回忆子集的性能模式分别反映 GSM8K 和 MedMCQA 的性能模式来验证这种划分。利用这个坚实的基础，我们发现自我一致性持续提高了符号推理和知识回忆的性能，尽管其潜在的 CoT 提示主要对符号推理有效。结果，我们在 MMLU 上实现了 89% 的准确率，这是迄今为止使用 GPT-4o 的最佳性能。