AnySimLite：用于设备上语音相邻分类的轻量级少样本相似性编码器

为了最大限度地减少智能手机等边缘设备上的隐私问题和推理延迟，轻量级设备上模型对于最终用户应用程序仍然很重要。其中许多应用程序涉及自然语言分类，但部署多个专用模型会带来内存占用挑战。我们研究：单个轻量级架构能否通过简化为细致入微的文本相似性公式来解决多个相邻语音 (SA) 分类任务？我们提出了 AnySimLite，一种结合了单词级和字符级通道的轻量级相似性编码器。与数据集转换策略一起，我们在多个 SA 分类任务中评估 AnySimLite，并表明它在少量样本设置中始终实现最先进的 (SOTA) 或 SOTA 竞争性能，同时保持较低的内存占用。即使在最坏的情况下，使用 SOTA qLLaMA_LoRA-7B 基线模型大小的 $<\frac{1}{250}^{\mathrm{th}}$ 时，性能下降仍低于 7%。