弹奏和弦！模态动力学版式

我们引入了模态动力学排版，它可以对矢量字形进行动画处理以表达语义概念，同时保持其清晰易读。我们的关键想法是根据字形的自然振动模式构建运动。具体来说，由矢量轮廓组装而成的有限元特征问题会产生整个字母及其每个部分的字形的最软模式，从而允许其弯曲。该问题的零能量解决方案，即刚性平移和旋转，以封闭形式应用于每个部件，允许部件也像块一样移动。为了使字形动画化，冻结视频扩散模型仅监督模式的幅度和相位。我们的模态方法解决了先前工作的两个弱点。视频分数蒸馏 (SDS) 下的自由形式点优化沿着噪声梯度独立移动每个点和帧，撕裂轮廓并导致抖动。相比之下，我们的模式沿着轮廓是平滑的，并由一些全周期谐波驱动，这将这些梯度限制为平滑、无缝的循环运动。另一方面，结构化替代方案依赖于特定类别先验的骨架或关键点，而我们的模式来自字形本身；唯一优先的是命名每个字母的移动部分的列表，由语言模型为整个字母表生成一次。在模态动力学排版中，形状和运动通过构造解开：单个基本轮廓是根据概念雕刻的，并且模态驱动无法改变它，因此字母也可以在不重新形状的情况下进行动画处理。与 Dynamic Typography 和 AniClipart 相比，我们的方法在概念对齐方面比 Dynamic Typography 和 AniClipart 产生更清晰、更平滑的运动，并且比 Dynamic Typography 具有更少的字形撕裂，并且受到人类评估者的青睐，包括在仅靠运动必须承载概念的冻结形状设置中。我们的结果也比人类评估者更喜欢 Astra (GPT-6)。