表格数据情境学习的算法资源

随着预测模型越来越多地部署在信贷审批等高风险环境中，越来越需要为受影响的个人提供追索权的事后方法。许多此类模型都在表格数据上运行，其中特征对应于现实世界的属性。最近，上下文学习 (ICL) 使 大语言模型 能够通过在推理时对标记示例进行调节来执行表格预测，而无需显式训练。然而，ICL 下表格决策的算法资源在很大程度上仍未得到探索。在这项工作中，我们首次研究了 ICL 下表格数据的算法资源。我们进行了理论分析，表明追索仍然是明确定义和有界的，并且我们描述了随着上下文规模的增加，追索如何向经典解决方案收敛。在实践中，我们提出了一种新颖的零阶资源框架，即上下文学习的自适应子空间资源（ASR-ICL），它可以有效地为黑盒 ICL 模型生成可操作的稀疏资源。所提出的框架自然地扩展到多类表格任务。跨多个现实世界数据集和模型的实验表明，ASR-ICL 通过更少的查询实现了与现有方法相当的资源质量，并凭经验证实了预测的收敛行为，支持了我们的理论分析。