InstructMesh：面向制造的生成式三维模型选择性细化

摘要

生成式 AI 的最新进展允许用户从文本或图像创建 3D 模型。然而，这些模型优先考虑视觉合理性而不是几何精度，通常会生成带有缺陷的结果，从而影响其制造后的预期用途。我们推出了 InstructMesh，这是一种交互式的生成后细化工具，可以通过区域选择和目标操作（例如打开或密封空隙或调整局部厚度）来选择性修复生成 3D 模型。用户可以通过自然语言提示或滑块控件调用编辑操作。通过直接对中间潜在表示进行操作，InstructMesh 允许用户应用强大的几何校正，而无需专业的建模技能。为了为我们的设计提供信息，我们首先分析最先进的生成工具输出中与制造相关的常见故障模式。然后，我们进行了两项用户研究，证明新手可以使用 InstructMesh 识别生成输出并执行与制造相关的修复，并揭示用户对将滑块控件与自然语言输入相结合的混合界面的偏好。

InstructMesh：面向制造的生成式三维模型选择性细化：论文配图 — 图1a) 用户提供初始提示。 b) 系统生成3D模型,但可能包含与制造有关的缺陷(例如密封盖子)。 c) 用户选择问题区域并提供描述性编辑提示。 d) 指示Mesh在暗层中应用编辑操作来去除盖子,同时保护其他地区并重新生成模型。 e) 最后模型是作为功能图纸伪造的。