基于 LLM 的系统评价筛选中的类别不平衡和批次效应

本研究以系统评价中的研究筛选为应用领域，分析了不平衡二元分类中的LLM。在五篇评论中进行了一项实验，比较了单独处理和批量处理，以及有和没有患病率元数据的情况。结果表明流行率元数据的影响有限，没有证据表明它可以提高性能。相比之下，批处理产生了更大的行为变化，这些变化根据班级的流行程度而变化。总体分析和项目级分析并不总是一致。因此，批处理不仅应从成本方面进行评估，还应考虑其对决策行为的影响。