OmniTrace：全模态生成时间归因的统一框架 LLM

现代多模态 大语言模型 (MLLM) 可从交错的文本、图像、音频和视频输入生成流畅的响应。然而，确定哪些输入源支持每个生成的语句仍然是一个悬而未决的挑战。现有的归因方法主要是为分类设置、固定预测目标或单模态架构而设计的，并且不能自然地扩展到执行开放式多模态生成的自回归、仅解码器模型。我们引入了 OmniTrace，这是一个轻量级且与模型无关的框架，它将归因形式化为因果解码过程中的生成时间跟踪问题。 OmniTrace 提供了一个统一的协议，可在解码过程中将任意 词元级 信号（例如注意力权重或基于梯度的分数）转换为连贯的跨度级别、跨模式解释。它将每个生成的标记跟踪到多模态输入，将信号聚合到语义上有意义的范围，并通过置信加权和时间连贯的聚合选择简洁的支持源，而无需重新训练或监督。对 Qwen2.5-Omni 和 MiniCPM-o-4.5 跨视觉、音频和视频任务的评估表明，与朴素的自我归因和基于嵌入的基线相比，世代感知的跨级归因可以产生更稳定和可解释的解释，同时在多个底层归因信号中保持稳健。我们的结果表明，将归因视为结构化的生成时间跟踪问题为全模态语言模型的透明度提供了可扩展的基础。