论文
CARS:按方向信号与样本规模选择共享或双投影检索
When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections
摘要
稠密检索支持RAG、语义搜索和问答,但选择共享还是独立查询文档投影的理论依据仍不清楚。我们提出低秩双线性评分的偏差方差理论:共享投影产生半正定算子,双投影能够实现任意低秩算子。我们推导两者的精确近似差距,并证明局部高斯边界:只有当方向信号的平方超过额外自由度的估计成本时,双投影风险更低。该边界启发交叉拟合非对称风险选择器CARS,从训练数据对估计可复现方向信号;其高斯对应形式具有精确选择功效和遗憾公式。在理论指导下,我们用多个数据集和嵌入模型开展检索实验。查询旋转角从0度增至90度时,双投影减共享投影的平均NDCG@10优势增长超过一倍。在秩与样本规模网格中,n=32时共享投影在16个单元中赢13个,n=1024或2048时双投影赢全部32个。与这一变化一致,全部168条可比较算子风险曲线随着训练数据增长转向有利于双投影。相对于两种固定几何基线,CARS减少49%至96%的留出遗憾,平均几何选择准确率为90.1%。