Instruct-ICL：用于灾后损失评估的指令引导情境学习

快速、准确的态势感知对于自然灾害期间的有效响应至关重要，分析的延迟可能会严重阻碍决策。训练用于灾后评估的特定任务模型通常非常耗时且计算成本高昂，使得此类方法在时间紧迫的情况下不切实际。因此，预训练的多模态 大语言模型 (MLLM) 已成为灾后视觉问答 (VQA) 的一种有前途的替代方案，该任务旨在通过对图像和文本进行联合推理来回答有关视觉场景的结构化问题。虽然这些模型表现出强大的多模态推理能力，但它们的响应可能对即时表述很敏感，这可能会限制它们在现实世界灾害评估场景中的可靠性。在本文中，我们研究了结构化推理策略是否可以提高灾后 VQA 的预训练 MLLM 的可靠性。具体来说，我们探索了多种提示范例，其中一个 MLLM 用于生成特定于任务的指令，作为第二个 MLLM 的思想链 (CoT) 指导。这些指令在答案生成过程中与不同程度的上下文学习 (ICL) 结合在一起，使模型能够利用明确的推理指导和上下文示例。我们对 FloodNet 数据集进行评估，并将这些方法与零样本基线进行比较。我们的结果表明，集成指令驱动的 CoT 推理能够持续提高答案的准确性。