论文
从数据到洞察:探索图表总结的思路
From Data to Insights: Exploring Program-of-Thoughts Prompting for Chart Summarization
摘要
图表在通过结构化视觉表示传达数字数据见解方面发挥着关键作用。然而,语义视觉理解和数字推理要求阻碍了图表的准确描述,解释图表摘要中的一项具有挑战性的任务。尽管视觉语言模型(VLM)最近取得了进展,但方法缺乏验证统计事实正确性的强大机制,并且计算量很大。为了解决这一差距,本文探索了一种策略,即使用零样本学习来激励轻量级 VLM 执行计算推理,通过 Python 程序作为中介来导出用于图表理解的有效汇总统计数据。具体来说,我们引入了一种新颖的图表到字典辅助任务,与传统的图表到表格方法相比,提供了更灵活的表示,使其特别适合与思维计划(PoT)策略集成。实验结果表明,我们的策略在语义和事实指标上的表现与现有的图表汇总方法相当。代码可在 https://anonymous.4open.science/r/ZeroShot-PoT-C2T-5A6B 上找到。