论文
Solaris:面向生成而非编码的接口
Solaris: Towards Interfaces That Are Generated, Not Coded
摘要
数字接口传统上是通过代码等中间表示来实现的,需要提前指定它们的外观和行为。我们引入了 Solaris,一种界面世界模型,它直接逐帧生成交互式 UI,以响应用户操作。 Solaris 将鼠标交互视为条件信号,并以交互速度自回归合成最终的视觉状态。为了实现实时生成,同时在扩展交互中保持视觉连贯性,我们将自回归帧生成与几步 蒸馏 以及对模型自身输出的训练相结合。语言模型通过解释用户意图并指定交互应如何影响生成的环境,将高级推理与视觉渲染分开,来补充视觉世界模型。通过动态生成界面的外观和行为,Solaris 实现了无需提前显式编程的开放式交互。我们将界面世界模型视为迈向软件新范式的一步,其中界面是围绕用户意图不断生成和调整的,而不是作为预定义状态和行为的固定集合来实现。