3D基础模型高效微调的属性子空间挖掘

随着 3D 基础模型的出现，人们对 微调 用于下游任务的兴趣越来越大，其中 LoRA 是占主导地位的 微调 范例。由于 3D 数据集在纹理、几何、相机运动和照明方面表现出明显的变化，因此存在一些有趣的基本问题：1）是否存在与每种类型的变化相关的 LoRA 子空间？ 2）这些子空间是否解开（即彼此正交）？ 3）我们如何有效地计算它们？本文为所有这些问题提供了答案。我们引入了一种稳健的方法，可以生成具有受控变化的合成数据集，在每个数据集上微调 LoRA 适配器，并提取与每种变化类型相关的 LoRA 子空间。我们证明这些子空间近似解缠结。将它们集成可以减少 LoRA 子空间，从而实现高效的 LoRA 微调，并提高下游任务的预测精度。特别是，我们表明，这种简化的 LoRA 子空间尽管完全来自合成数据，但可以推广到真实数据集。消融研究验证了我们方法中选择的有效性。