论文

小数据什么时候起作用?朝觐和副朝人群状态分类的表格基础模型与传统方法之间的准确性和效率权衡

When Does Small Data Work? Accuracy and Efficiency Trade-offs Between Tabular Foundation Models and Conventional Methods for Crowd-State Classification at Hajj and Umrah

模型评测模型能力评测

摘要

从少数标记示例中学习是表格机器学习中的一个核心挑战,并且它成为标记成本高昂的领域的约束约束,例如朝觐和副朝期间的人群监控。最近引入了表格基础模型,该模型仅根据少数示例进行预测,无需进行特定于任务的训练,以解决这种标签很少的问题。在这项研究中,我们在人群状态分类上对它们进行了测试,以评估它们在标签稀缺时的帮助程度,并将它们与标准机器学习方法进行比较,以描述两种方法之间的准确性和效率权衡。使用三个真实数据集,我们针对三个基础模型以未调整和调整的形式评估不同的机器学习模型。结果表明,没有哪个单一家庭在任何地方都是最好的。正确的选择取决于标签预算。当标签很少时,基础模型就会领先。随着标签的增长,经过调整的传统模型在更具结构性的几何目标上赶上了并显着超过了基础模型。效率将它们进一步分开,尽管基础模型在每次预测时都会重新处理其上下文,但调整后的机器学习模型会产生基础模型可以避免的大量调整成本。我们将这些结果总结为在给定标签预算和计算预算下优选哪种方法的实用地图。