LLM蒸馏的多标签主题分类：生成式与判别式学生模型比较

由于非正式语言、极端标签稀疏性和快速发展的分类法，用户生成内容 (UGC) 的多标签主题分配（包括产品评论和买卖双方对话）在大规模电子商务中带来了独特的可扩展性挑战。虽然利用大型语言模型 (LLM) 作为标签预言机来提取真实数据已成为绕过令人望而却步的手动注释成本的行业标准，但为最终的学生模型确定最佳的低延迟架构仍然是一个开放的挑战。为了解决这个问题，我们对小语言模型 (SLM) 参数尺度（1B、4B 和 8B）和架构范式（因果生成与双向判别）进行了全面评估。将生成文本到标签分类器与判别基线（DeBERTa-V3 和 ModernBERT）进行比较，我们的分析揭示了一个关键的数据依赖权衡：虽然判别模型在结构化产品评论上优于超轻量级生成模型，但即使是最小的 1B 生成模型也超过了在复杂的多轮对话数据上的判别基线。此外，生成模型在大规模标签集扩展（最多 112 个主题）和严重的长尾分布下保持稳健的性能，而判别基线在 Macro-F1 规模上下降了 35%。最后，我们详细介绍了这些优化模型在产品审查和对话领域的成功生产部署，展示了严格的延迟合规性和在全球市场规模上的切实业务影响。