MELLON：面向在线导航的多模态增强大语言模型

网页导航智能体能够处理不同网站上的各类任务。当前的网页导航基线要么是单模态的，要么在多模态输入下缺乏强推理能力。我们以WebShop基准（一个真实世界网站模拟）为对象，探索文本与图像的对齐以及多模态推理与规划能力，以提升网页导航智能体的表现。我们提出三项创新的多模态增强：面向在线导航的多模态增强LLM（MELLON）、VQAgent与多模态排序器（Multimodal Ranker）。MELLON在任务完成准确率上展现出显著提升，仅训练一个epoch即提高9.26%。我们的发现表明，有必要进一步探索多模态方法，重点关注更充分的训练与对齐策略，以增强网页导航智能体的效能。