论文

低资源情感分类增广比较:上下文替换更利于BERT适配

Enhancing Sentiment Classification on Small Datasets through Data Augmentation and Transfer Learning

模型训练应用与实践监督微调与指令调优合成数据结构化分析、预测与决策

摘要

小规模的情感分类通常会受到数据稀缺的影响,这限制了模型的泛化能力。本研究评估并比较了三种数据增强策略的有效性:简单数据增强 (EDA)、回译和上下文标记替换(nlpaug 式),并结合传统机器学习分类器(逻辑回归、随机森林)和基于 transformer 的模型 (BERT)。我们通过总结最近的研究结果并进行有针对性的直接对照实验,在低资源情感数据集上进行全面实证比较。我们的研究结果表明所有增强方法都能提高性能。上下文增强为 BERT 模型带来了最一致的收益,而 EDA 和回译为传统分类器提供了更大的好处。这些见解有助于指导选择适合模型类型和数据集大小的数据增强技术,填补小数据集情感分类数据增强研究的关键空白。

低资源情感分类增广比较:上下文替换更利于BERT适配:论文配图
图3:IMDb 5k子集上,不同模型(逻辑回归、随机森林、BERT)与数据增强策略的总体准确率。传统模型的误差条为95%置信区间,BERT的误差条为不同随机种子之间的标准差。