论文
超越课堂边缘:在不冻结课堂共现的情况下限制排练间隙
Beyond Class Marginals: Bounding Rehearsal Gaps without Freezing Class Co-occurrence
摘要
类别平衡重播控制类别频率,但不确定类别连续重播出现之间的间隔。我们研究这个间隔,即排练间隙,与班级边缘和班级共现分开,并引入随机通行重播(RPR),它每次洗牌通行证都会访问每个常驻班级一次。对于一组固定的 C 常驻类且重放批量大小 b 小于或等于 C,RPR 保留平衡的时间平均类边际,并将每个间隙限制为 2*ceil(C/b)-1;当驻留集发生变化时,会应用流失条件界限。调度程序不使用未来的类信息,也不添加重播示例或前向传递。在线性头 ER-ACE 诊断中,传入批次和重播批次的联合缺失会产生单侧分类器偏差梯度。较长的缺勤时间与较大的负偏差位移相关,并且消除传入损失掩码会减弱调度效果。在初步的ER-ACE实验中,相对于水库存储下的独立类平衡检索,RPR将最终平均准确率提高了0.72-1.67个百分点,并且在平衡存储下也观察到了积极的效果。预训练的 ViT 对小批量重播的测试 LT10 流显示出积极的影响,而匹配的大批量控制则没有显示任何实质性影响。固定周期和重复使用的通道控制会改变多个时间统计数据,因此实验不会将排练间隙长度与所有其他形式的时间依赖性隔离开来。准确性的影响取决于学习者和操作方式。