论文
HandwritingAgent:可扩展向量空间中语言驱动的手写合成
HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space
摘要
教机器模仿自然手写风格仍然是一个开放的挑战,因为它需要合成形状、纹理、压力和脚本动态变化的笔画序列——不仅在个人之间,而且在单个人的笔迹内。针对这一挑战的尝试主要探索了在线和离线环境中的深度学习方法。然而,这些方法通常受到特定风格的架构选择、对大型数据集的严重依赖、高计算成本以及缺乏通过自然语言对书写风格的灵活控制的限制。为此,我们引入了 HandwritingAgent,这是一种语言驱动的代理,可以直接以可扩展矢量图形 (SVG) 格式合成自然手写序列,无需进行特定样式的训练。该代理利用大型推理模型来进行几何分析并自回归生成目标手写字形作为离散网格画布环境中的笔画序列。生成取决于以会话或非会话模式提供的文本以及参考手写风格图像。在模仿、识别、多语言手写合成以及复杂手写数学和科学表达的生成等多种手写任务上的实验表明,HandwritingAgent 的性能得到了显着提高,HandwritingAgent 匹配或超越了最先进的生成手写模型,同时提供了更高效、可控和可推广的合成方法。