HeuFouFT：任务引导的傅立叶元启发式坐标搜索微调

我们引入启发式引导傅里叶微调 (HeuFouFT)，这是一种用于在傅里叶微调中选择可训练频率坐标的任务引导框架。现有的均匀和高斯带通方案通过固定的、与任务无关的规则来分配有限的频谱预算。 HeuFouFT 使用下游性能来搜索坐标。来自轻量级块级探针的粗略强度图初始化了三个元启发式优化器：带有模拟退火的遗传算法 (GA-SA)、粒子群优化 (PSO) 和布谷鸟搜索 (CS)。在搜索过程中，随机森林会过滤每个群体，以便只有前 30% 的候选者才能继续代理微调。在使用 GPT-2-Medium 的 E2E 上，所有三个变体在五个指标上都优于随机均匀 FourierFT、高斯带通 FourierFT 和 LoRA。 PSO 在四个指标上进一步优于性能最佳的基线 LoCA，同时使用的可训练频谱系数减少了 37.6%。一旦选择了坐标，HeuFouFT 只需要 15--18% 的 Full FT FLOP。这些结果表明，任务引导搜索比固定采样更有效地分配有限的频谱容量。我们的代码是公开的。