论文
从笔到像素：通过新颖的基准和高效适配器将手绘图转换为图形 API
From Pen to Pixel: Translating Hand-Drawn Plots into Graphical APIs via a Novel Benchmark and Efficient Adapter
摘要
由于绘图在现代数据可视化和分析中发挥着至关重要的作用，因此推出了 Plot2API，通过神经网络直接从参考绘图图像推荐图形 API，帮助非专家和初学者创建所需的绘图。然而，之前关于 Plot2API 的工作主要集中在标准绘图图像的推荐上，而忽略了非专家和初学者更容易理解的手绘绘图图像。更糟糕的是，由于领域差距和缺乏专业知识，在标准绘图图像上训练的 Plot2API 模型和强大的多模态 大语言模型 都很难有效地推荐用于手绘绘图图像的 API。为了方便非专家和初学者，我们引入了一个名为 HDpy-13 的手绘绘图数据集，以提高手绘绘图图像的图形 API 建议的性能。此外，为了减轻 Plot2API 中多领域和多语言挑战带来的参数增长和计算资源成本的巨大压力，我们提出了 Plot-Adapter，它允许训练和存储单独的适配器，而不是需要每种语言和领域的整个模型。特别是，Plot-Adapter 结合了轻量级 CNN 模块来提高捕获局部特征的能力，并实现投影矩阵共享以进一步减少 微调 参数的数量。实验结果证明了 HDpy-13 的有效性和 Plot-Adapter 的效率。