超越像素：可视化代理的内省和交互式基础

视觉语言模型 (VLM) 经常误读值、产生幻觉细节并混淆图表中的重叠元素。当前的方法仅依赖于像素解释，从而产生了仅像素瓶颈：代理将交互式图表视为静态图像，无法访问编码精确值的结构化规范。我们引入了内省和交互式视觉基础（IVG），这是一个框架，它结合了（1）基于规范的内省，它查询底层规范以确定性证据，与（2）基于视图的交互，它操纵视图来解决视觉模糊性。为了实现没有 VLM 偏差的评估，我们推出了 iPlotBench，这是一个由 500 个交互式 Plotly 图形组成的基准，包含 6,706 个二元问题和 真值 规范。实验表明，内省提高了数据重建保真度，而与交互的结合实现了最高的 QA 准确率 (0.81)，重叠几何图形的增益提高了 +6.7%。我们进一步在已部署的代理中演示 IVG，这些代理可以自主探索数据并与人类用户实时协作。