论文

纠正功能何时有帮助?黑匣子预报器修正特征发现代理

When Do Corrective Features Help? An Agent for Corrective Feature Discovery on Black-Box Forecasters

智能体系统Agent 架构与控制循环

摘要

冻结的预训练预测器通常会以结构化、重复性的方式出现故障,而通过 微调 修复这些故障的成本高昂。我们研究校正特征发现:挖掘冻结预测器残差的可解释特征来驱动轻量级事后校正器。先前的自动化特征工程对数据生成过程进行建模;纠正特征而是对模型失效过程进行建模。我们提出了 CRAFTER(具有基于特征的时间探索和推理的修正残差代理),它保持骨干网冻结,并使用两个互补的生成器挖掘其残差:对原始输入通道的组合搜索,以及提出命名特征组合、二进制标志和简短可执行代码的 大语言模型 (LLM)。单个基于验证的门接受或拒绝每个候选者,无论其来源如何,并且验证选择的校正器应用接受的特征或保持预测不变。这种与源无关的管道还允许在相同条件下评估先前的特征工程系统,从而使 CRAFTER 成为将预测改进单独归因于特征源的工具。在六个公共数据集和六个冻结骨干网中,CRAFTER 在每个特征预算上都超越了每个专用特征工程系统,将仅校正器所实现的改进大约翻倍,并将最弱骨干网的错误减少高达 27%。这些增益在不同的 LLM 后端上都很强大,即使应用于微调的主干网也能持续存在。