UniData：从用户需求生成多轮多模态指令数据

多模态大语言模型（MLLM）越来越多地应用于更广泛的现实场景中。然而，由于大量的劳动力成本，为 MLLM 创建高质量的多模式指令数据集仍然是一个重大挑战。尽管一些方法提出生成指令数据，但它们经常面临模态支持的限制，并且难以生成多轮指令。为了解决这些问题，我们引入了通用指令生成管道 UniData，将简单的用户需求转换为多轮、多模式指令。具体来说，UniData首先将用户需求扩展到多个不同的事件中。然后，UniData 利用这些事件集成任意对任意大型模型以生成多模式指令。最后，UniData 通过纠正不相关和冗余的推理流程，利用指令轮次之间的相关性来提高数据质量。为了训练这个管道，我们还构建了 UniDataset，这是一个包含九种模式的 20,000 个条目的数据集，用于改进多模式生成。我们的实验 证明 UniData 在数据质量方面实现了 SOTA 性能，并且还可以增强其他多模态模型的理解和生成能力。