何时以及为何 LLM 因果先验有帮助：用于摊销因果推理的闭环先验选择

因果效应估计询问在干预下结果将如何变化，医学、经济学和公共政策都将其视为一项基本任务。先验数据拟合网络（PFN）分摊任务：在大量以编程方式生成的综合因果任务上训练的模型将新问题的观察数据读取到上下文中，并在单次前向传递中返回干预效果估计。此类模型的能力很大程度上取决于合成训练先验，目前合成训练先验是手工设计的，这是 Do-PFN 和 CausalPFN 都承认的瓶颈。大型语言模型 (LLM) 现在可以为给定领域“绘制”合理的因果图，这表明 LLM 提炼的图可以作为先验材料。注入此类图表是否有帮助、收益从何而来以及注入何时有帮助。迄今为止，实践一直依赖于手动试验和错误。我们提出了一个闭环先验选择框架，它将先验注入作为对候选先验池的预算约束优化。候选人接受廉价的后训练，并通过以实域泛化为主的综合指标进行评分；然后获胜者接受全面的训练和配对的统计验证。在 734 万参数的 Do-PFN 上，该框架的获胜者在主要评估域上获得了 2.75 美元×$ 的正式显着增益，并且其误差低于未注入的官方基准的误差。相邻监控域的泛化能力显着提高，并且监控能力没有下降。机制实验表明，增益取决于蒸馏图的语义内容，而不是仅凭其结构多样性并不能产生增益（方向证据）。有了这个框架和这种规律性，LLM因果先验的使用就不再是手动试错，而是成为一个可凭经验验证的选择问题。