Pre-Hoc 微调 预测的风险分解框架

微调 LLM 的高成本构成了重大的经济障碍；事前性能预测提供了一个关键的解决方案，可以大幅减少这一费用。然而，事前性能预测的理论局限性仍有待探索。我们将其表述为信息约束下的随机估计问题，将预测风险分解为两个组成部分：内在限制（静态数据模型兼容性）和可减少的优化方差。我们证明，优化方差在其衰减率上存在必要的下限，这意味着无论使用什么预测变量，都对不确定性消散的速度存在基本限制。基于这些动态，我们推导出预算最优探测原理，并引入可预测性阶段图，将任务组织成三个不同的状态：静态充足、动态关键和噪声主导。对合成和现实世界基准的广泛实验验证了这些理论体系并证明了我们探测策略的效率。