自适应稀疏化的神经稀疏检索

近期神经稀疏检索工作通过LLM语义词项扩展展示了强相关性。但所学模型搭配既有稀疏化技术仍产生过长的文档与查询向量（部分因LLM词表大），严重挑战检索的时间与空间效率。本文提出通过自适应策略协同优化模型稀疏性的方案，包括可学软top-K、逐词元阈值与提升查询/文档向量稀疏度的FLOPs正则。Lion-SP模型在MS MARCO与BEIR上的实验结果表明，该方案显著缩短平均查询与文档长度，性能超越基线；可在保持高度竞争力相关性的同时获得更短的检索延迟与更低的存储成本。