论文

超越可读性:评估任务信息的可恢复性

Beyond Readability: Evaluating Task Information Recoverability

模型评测评测方法与指标

摘要

直接视觉可读性和任务信息可恢复性是不同的量。未能从固定观察中解码目标并不需要消除通过另一个恢复路径对该目标的访问。我们开发了一种评估视角,使观察、查询、目标和可用知识变得明确,并衡量路线成功集之间的重叠。对于在合适的成像条件下原始可见表面上可用的信息,直接光学恢​​复从图像中读取目标,可选地在恢复之后;实体链接恢复使用残留的视觉证据来识别所描述的实体,并通过指定知识资源中的实体-属性关系访问其目标。这种访问可以利用存储的知识或外部资源。一项受控书籍封面研究使用固定标题-作者目录实例化外部访问,将光学作者恢复与视觉标题分辨率和分辨率退化下的确定性查找进行比较。与实体相关的成功在测试的视觉语言模型中持续存在,揭示了超出测试的直接视觉边界的信息访问,尽管绝对性能存在巨大差异。大量的纯光学区域仍然存在。这些互补的结果表明,为什么应该通过沿着指定路线和知识资源可访问的任务信息以及直接可读性来评估视觉退化。