自监督交叉表示学习的一致性驱动的协同进化

随着图表图像、表格数据和可视化代码在不同领域中发挥着越来越重要的作用，跨这些模式的交叉表示理解给人工智能系统带来了根本性的挑战：跨表示的关系本质上是\textit{一对多}，监督是模糊且昂贵的，模型优化缺乏一个原则性的信号，该信号既是方向自适应的，又是超出特定任务目标的表示泛化的。我们引入 CoCoEvolve 来提高图表、表格和代码表示的一致性。我们没有将交叉表示映射视为一对多问题，而是定义显式的一对一对应关系，并使用表示之间的一致性来优化模型，而无需额外的注释。在训练期间，CoCoEvolve@Train 在图表-表格-代码周期中执行协同进化，而 CoCoEvolve@Test 在推理时应用相同的一致性目标以进行测试时协同优化。我们还推出了 CoCoEvolve@Eval，这是一个涵盖所有六个交叉表示任务的评估套件。在四个基准测试中，CoCoEvolve 提高了训练时和测试时设置的性能。我们的项目页面：https://xhguo7.github.io/CoCoEvolve/。