S2TDR把贴纸的视觉线索和意图重构为对话文本

表情贴图广泛用于社交媒体对话中，以表达文字之外的情感、立场和意图。它们的含义通常是非字面的并且依赖于上下文，这使得它们很难用通用的视觉融合或独立的图像描述来处理。我们提出了表情贴图到文本对话重建（S2TDR），这是一种结构化的多模态重建框架，可将表情贴图转换为上下文适当的文本话语。 S2TDR 将表情贴图解释分解为视觉线索提取、情感意图推理和上下文感知对话重建，仅使用 OCR 文本作为可用的辅助线索。然后，现有的基于文本的对话模型可以使用重建的对话。情感分析、意图识别和对话摘要的实验表明，S2TDR 通常比直接表情贴图集成方法改进了多个下游模型。对组件消融、无OCR文本的表情贴图和重建质量的进一步分析表明，结构化重建提供了一种可解释且有效的方法，将表情贴图语义整合到对话理解中。