用于高效基于聊天的图像检索的记忆增强查询意图理解

与传统的文本到图像检索任务不同，基于聊天的图像检索允许人机交互系统通过多轮对话迭代地澄清和细化用户意图，从而获得更细粒度的检索结果。这项任务的关键挑战在于动态理解和更新用户在对话轮次中的查询意图。尽管现有的工作在这个新任务上取得了很好的性能，但它们只是通过直接将所有先前的查询连接成一个长文本序列或依靠 大语言模型 从历史记录中重建当前查询来简单地处理历史查询信息。这种策略在计算上是多余的，并且随着对话的进行很容易导致意图表示不一致。为了缓解这些问题，本文提出了一种新颖且高效的基于记忆的用户意图更新框架，用于基于聊天的图像检索任务，称为记忆增强查询意图理解（MAQIU）。它引入了一个轻量级记忆模块，可以动态聚合和演化跨对话的查询意图的语义表示，同时进一步采用记忆回忆机制来防止意图遗忘并增强长期语义完整性。此外，MAQIU还整合历史图像检索结果作为视觉引导，使模型能够加强跨轮相关性并细化当前的视觉理解。大量实验表明，MAQIU 在保持高计算效率的同时实现了显着的性能提升，与之前的基线 ChatIR 相比，对话编码 FLOP 减少了 86.4%。源代码可在 https://github.com/HuiGuanLab/MAQIU 获取。