论文

FigmaTrace:捕捉人类 Figma 设计工作流程中的创意细微差别

FigmaTrace: Capturing Creative Nuances in Human Figma Design Workflows

模型训练合成数据

摘要

视觉语言模型最近在多个客观和可验证的领域(例如对象检测)显示出改进,但在主观和创造性设计任务上仍然表现不佳。造成这种性能差距的一个主要原因是缺乏高质量的人类工作流程数据,这些数据可以捕获使人类专家擅长设计任务的各种偏好和决策。在这项工作中,我们首先定义了一个独特的、专家策划的设计技能和最佳实践分类法,我们将其进一步扩展为一组 126 个开放式、主观、长期任务。在此基础上建立的专家解决方案,我们的数据集 FigmaTrace 包含超过 200 小时的人类捕捉视频数据,使用一种新颖的基于设计阶段的方法转换为 3469 个设计轨迹。我们使用我们的数据集来训练四个模型,并表明 FigmaTrace 上的训练带来的性能改进可与四个分布式代理 GUI 环境中的 \textsc{Claude-Opus-5} 和 \textsc{GPT-5.6-Sol} 等前沿封闭模型相媲美。我们进一步进行了有用的消融,将这些性能改进归因于基于设计阶段的视频到轨迹转换,该转换优于先前基于长度的转换方法。最后,我们对性能最佳的 \textsc{Qwen3.8-27B} 输出进行定性分析,以更好地将性能改进与 FigmaTrace 的趋势相关联。我们为社区开源我们的数据集和最佳模型。