论文

用于与 Agentic AI 兼容的深度学习的度量引导合成图像数据渲染

Metric-Guided Synthetic Image Data Rendering for Deep Learning compatible with Agentic AI

模型训练合成数据

摘要

用于科学应用的深度学习计算机视觉需要以费力、昂贵且容易出错的过程收集和注释大型数据集。通过 3D 建模和渲染生成合成数据可以简化此过程,并通过以编程方式生成注释来提高注释的准确性。然而,在视觉上最小化真实图像和合成图像之间的域差距是主观的,并且缺乏系统的定量指导。我们推出 GraNatPy,一个 Python 包,其中包含指导渲染场景改进的指标。我们表明,渲染数据集的真实性、多样性和大小的可量化增加与场景视觉感知的改善和对象检测模型更高的零样本性能相关。此外,我们使用病毒斑块测定的照片证明梯度相似性会影响小物体检测的性能,这可以通过混合真实数据和合成数据来改进。最后,我们将程序数据渲染转化为代理技能(SynthClaw)以自动化程序参数优化。