AdapShot：语义感知KV缓存复用的自适应多样本上下文学习

多样本上下文学习（Many-Shot ICL）成为有前景的范式：利用大量示例释放LLM推理潜力。但现有方法通常依赖预设的固定样本数。这种静态方式无法适应不同查询的难度差异，导致上下文不足或噪声干扰；且长上下文高昂的计算与内存成本严重限制Many-Shot的可行性。针对上述局限，我们提出AdapShot：动态优化样本数并利用KV缓存复用实现高效推理。具体地，我们设计基于探针的评估机制，利用输出熵确定最优样本数。为在探针与推理两阶段跳过冗余预填充计算，我们纳入语义感知的KV缓存复用策略；在该策略中，针对位置编码不兼容问题，我们提出解耦再编码方法，支持缓存键值对的灵活重排。大量实验显示，AdapShot较SOTA DBSA平均性能提升约10%、加速4.64倍。