GuideCAD：通过前缀嵌入生成 3D CAD 模型的轻量级多模态框架

用于 3D CAD 生成的多模式方法需要大量计算资源，因此需要高效的训练。为了解决这个问题，我们提出了 GuideCAD，它利用语义丰富的视觉文本表示，仅具有少量可训练参数来生成 3D CAD 模型。具体来说，GuideCAD 使用映射网络将图像嵌入转换为前缀嵌入，从而使预训练的 大语言模型 能够集成视觉和文本信息。因此，基于 Transformer 的解码器使用视觉文本嵌入来预测构造序列，以生成 3D CAD 模型。为了进行实验评估，我们构建了一个新的数据集，称为 GuideCAD，它由文本图像对组成。每对都包含一个文本提示，表示 3D CAD 构造序列及其相应的 3D CAD 图像。我们的实验结果表明，与 微调 方法相比，GuideCAD 可以生成相当高质量的 3D CAD 模型，同时使用大约四倍的参数，并实现两倍的训练效率。我们已经在以下位置发布了我们方法的源代码和数据集：https://github.com/mskimS2/GuideCAD