LychSim：用于视觉研究的可控交互式仿真框架

虽然自监督预训练减少了视觉系统对合成数据的依赖，但仿真仍然是闭环优化和严格的分布外 (OOD) 评估不可或缺的工具。然而，现代模拟平台通常存在陡峭的技术障碍，需要计算机图形和游戏开发方面的广泛专业知识。在这项工作中，我们提出了 LychSim，一个基于虚幻引擎 5 构建的高度可控和交互式的模拟框架，以弥补这一差距。 LychSim 围绕三个关键设计构建：(1) 简化的 Python API，抽象出底层引擎的复杂性； (2) 程序数据管道能够生成具有不同分布外 (OOD) 视觉挑战的多样化、高保真环境，并搭配丰富的 2D 和 3D 地面事实； (3) 模型上下文协议 (MCP) 的本机集成，将模拟器转变为动态闭环游乐场，用于代理 LLM 推理。我们进一步注释场景级程序规则和对象级姿势对齐，以实现语义对齐的 3D 地面事实和自动场景修改。我们展示了 LychSim 在多个下游应用程序中的功能，包括充当合成数据引擎、为基于强化学习的对抗性检查器提供支持，以及促进交互式、语言驱动的场景布局生成。为了造福更广泛的视觉社区，LychSim 将公开提供，包括完整的源代码和各种数据注释。