用于精神分裂症认知矫正的交互式视觉语言平台

认知矫正任务通常要求患者执行涉及对象操作和顺序推理的结构化动作。对于诊断为精神分裂症的患者来说，这些任务对于解决严重的认知缺陷至关重要。然而，评估这些身体动作的正确性通常依赖于临床医生的手动观察，这引入了主观性并限制了治疗干预的可扩展性。在本文中，我们提出了一种基于视觉语言模型的自动化框架，用于针对精神分裂症康复量身定制的认知补救任务中的动作验证。所提出的系统依赖于摄像机监控的桌面环境，该环境由结构化微型场景组成，包括道路、环岛、公园和玩具车。患者收到音频指令，描述通过操纵玩具车来执行的面向目标的空间动作。这些互动身体活动是专门为刺激目标认知功能而设计的，例如持续注意力、运动协调、空间导航和认知灵活性。为了在不需要持续临床监督的情况下验证所执行操作的正确性，系统分析跟踪患者手和玩具运动的视频源。经过微调的视觉语言模型解释记录的视频序列并生成观察到的活动的语义描述，从而能够根据初始文本指令对执行的操作进行高级验证。收集了 4634 个桌面认知矫正视频场景的专用数据集来评估所提出的方法。实验结果表明，我们的专业框架有效地将低水平的物理遥测与高水平的临床反馈联系起来，为高级认知康复提供了可扩展且客观的解决方案。