从自然语言要求到图形用户界面：使用预训练语言模型进行自动原型设计和验证

需求获取对于开发交互式软件系统至关重要，因为它有助于确保最终的产品满足利益相关者的需求。由于启发通常依赖于自然语言 (NL)，因此其固有的歧义可能会引起误解。正式规范可以减少歧义，但需要技术专业知识。因此，GUI 原型设计通过将需求转化为支持沟通、启发和验证的有形视觉工件，提供了一种有价值的替代方案。然而，创建高保真原型仍然耗时且成本高昂。同样，确保实现符合指定要求的需求验证仍然主要是手动的，而现有的自动化方法通常仅限于静态的、基于规则的技术。这项工作解决了两个挑战：(C1) 减少将 NL 需求转换为 GUI 原型所需的工作量，以及 (C2) 减少 GUI 应用程序和原型中的需求验证所需的工作量。对于 C1，我们引入了新颖的基于 NL 的 GUI 检索和重新排名方法、新基准以及有效使 LLM 适应 GUI 生成的技术，包括专有的 GUI 表示。它们的有效性在人工注释的大型基准上得到了证明。对于 C2，我们提出了基于 LLM 的方法来验证静态 GUI 原型上语义上复杂的 NL 需求，并引入了基于多模态 LLM 的代理，用于通过自动生成和评估的交互轨迹来验证动态 GUI 应用程序中的复杂功能和非功能需求。总体而言，所提出的方法大大减少了 GUI 原型设计和需求验证中的手动工作。