Hawkeye：用模糊场景文字基准微调VLM识读低分辨率文字

现代视觉语言模型（VLM）在一般场景文字识别上已取得显著成绩，却仍难处理受运动模糊或低分辨率影响的长尾文字。这一限制在智能眼镜等第一视角应用中尤其突出，因为文本往往在噪声环境中被拍摄。我们提出模糊场景文字识别基准BSTRB，包含源于1699段真实视频序列的8398个含噪图像样本及高质量标注。基于此，我们提出在BSTRB上微调的VLM——Hawkeye，利用上下文先验和像素级对齐读取并推理难辨认文字。Hawkeye在BSTRB整体上达到远大于它的VLM的表现，并在20像素及以下文字上超越这些模型，而且只需一次前向处理，适合实时部署。我们进一步刻画当前VLM开始失效的分辨率。