通过预算自适应信号标记化进行指令条件电磁频谱理解

电磁频谱监测越来越需要除了特定任务的识别和检测之外的灵活分析。多模态大语言模型提供了统一的接口，但将视觉语言模型 (VLM) 扩展到原始 I/Q 信号需要标记化，以在保真度与严格的预算之间取得平衡。对于信号，密集编码会导致token成本随着观察长度的增加而增加，而固定分辨率压缩可能会丢弃短持续时间或局部信号证据。因此，我们提出了 \textbf{BATok}，一种预算自适应信号标记器，它根据输入长度调整标记容量，同时根据信号内容分配该容量。 BATok 使用轻量级多分辨率分支从信号派生特征构建候选表示，然后将局部能量先验与可学习查询相结合，将这些表示重新采样为紧凑的信号标记。token的数量适应输入长度，同时保持严格限制。生成的标记被投影到 VLM 的语言嵌入空间中。我们进一步介绍 \textbf{EMSpec-Instruct}，一个多模态指令数据集，对齐原始 I/Q 信号、瀑布图像和用于调制识别、结构化检测和语言条件信号接地的语言监督。实验表明，BATok 可以学习有效的信号表示，并在所有任务中实现具有竞争力的表现。