论文
聚类验证指数作为文本表示学习的自监督目标
Cluster Validation Indices as Self-Supervised Objectives for Text Representation Learning
摘要
自监督微调细化了没有标签的预训练语言编码器的嵌入空间。然而，常用的方法在计算上是昂贵的。具体来说，基于对比学习的方法需要多视图数据和批量负例，而无负例方法需要辅助图/网络。一个有趣的问题出现了：自我监督的微调是否可以在不依赖额外的负例或图形数据的情况下完成？为了回答这个问题，我们引入了 SilK（轮廓引导 K 均值），它在集群验证索引上进行训练，这是一种不使用标签的集群质量的内部度量。 SilK 对语料库进行聚类，然后将简化的轮廓回归到目标值。每个文档仅与 k 个簇质心进行比较，而不与其他文档进行比较，因此该方法不需要增强，不需要负对，并且每个文档一个视图。在 BERT 基础上，SilK 每个 epoch 的训练速度比我们评估的最快基线快 1.46 倍，并且使用的峰值 GPU 记忆比最精简的 GPU 记忆少 45.4%。在冻结编码器线性探测下，SilK 在三个下游任务上与最佳基线保持竞争力。
