论文
TinyGiantALM：资源约束下用于意图感知推理的紧凑音频语言模型
TinyGiantALM: A Compact Audio-Language Model for Intent-Aware Reasoning under Resource Constraints
摘要
当前音频推理的进步依赖于大规模的大型音频语言模型 (LALM)，这阻碍了在资源有限的环境中的部署。我们推出 TinyGiantALM，这是一种紧凑型 1.5B 效率导向型替代方案。我们提出了一种指令感知特征细化框架，使用查询引导投影仪和语义门控来根据用户意图过滤声学信号，而不是强力缩放。在 MMAR 基准上，TinyGiantALM 实现了 46.4% 的零射击精度，显着优于 7B-13B 基准。虽然与 30B+ 模型相比，逻辑叙述中的推理差距仍然存在，并且在过于密集或空间场景中存在某些权衡，但我们的方法在解开混合模态环境中明显超过了 8 倍的模型。这些发现表明，架构精度提供了一条切实可行的途径，可以在边缘友好的规模上确保强大的感知能力。