论文
上下文分配法则:生成搜索中的因果测量和闭环编排
The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search
摘要
随着检索增强生成(RAG)转向多样化的投资组合生成,它受到两个关键瓶颈的阻碍:证据利用率的测量有缺陷,以及背景预算分配不理想。我们依次解决这两个问题。为了解决测量问题,我们揭露了一种普遍存在的“诊断错觉”:标准相关性代理在硬否定上会灾难性地失败。我们用一种有效的因果留一法探针取代它们,该探针可以准确地分离生成依赖并正式校准 LLM 注意力的结构稀释。为了解决分配问题,我们将这个因果探针部署在去混杂的阶乘网格中。我们证明,单一上下文扩展的流行策略是一个因相关性衰减而受到惩罚的架构陷阱。相反,跨多个连续代迭代地分配计算可将变革性的投资组合召回率提高 16.7--20.5 个绝对百分点,并稳健地扩展到 32B 模型。最后,我们将这些解决方案统一到可部署的闭环子模块调度程序中。通过归因引导对比解码器的增强来克服 LLM 注意力惯性,我们的架构系统地强制新的证据集成。通过主导经典的开环基线,我们建立了顺序的、反馈驱动的编排作为生成搜索的最终范例。我们的代码、数据和因果测量工具可在 https://github.com/PeiYangLiu/ascp 上获取。