词元擦除下的上下文感知搜索和检索

本文介绍并分析了 {token} 擦除下类似 RAG 系统的搜索和检索模型。当查询表示仅部分保留时，我们提供远程文档检索的信息论分析。使用基于术语频率的特征来表示查询，并根据特征重要性分配语义自适应冗余。使用 TF-IDF 加权相似度进行检索。我们通过显示相似性边际向量收敛到多元高斯分布来表征检索错误概率，从而产生显式近似和可计算上限。数值结果支持了分析，而对现实世界数据使用基于嵌入的检索进行的单独数据驱动评估表明，相同的重要性感知冗余原则扩展到现代检索管道。总体而言，结果表明，为语义重要的查询特征分配更高的冗余可以提高检索可靠性。