论文
自动言语欺骗检测的持续准确性上限
A persistent accuracy ceiling in automated verbal deception detection
摘要
人们已经提出了自动化方法来克服人类言语欺骗检测的局限性,但跨学科的证据仍然支离破碎。我们系统地回顾了 25 年的研究(289 份报告、6,136 个分类模型),并对 97 个数据集内的 3,653 个模型进行了荟萃分析。汇总准确率为 74.4%(95% CI:71.2%-77.4%),具有显着的异质性。准确性更多的是由方法质量(基本事实、数据源、类平衡、评估程序)驱动,而不是由模型复杂性驱动:嵌入和大型语言模型的采用并没有转化为预测性能的提高。只有 12.46% 的报告使用了可验证的真实数据,只有 23.96% 的模型根据独立数据进行了评估。汇总的准确性与手动方法的荟萃分析一致,表明上限为 70-75%,当前的研究惯例不太可能提高。