DietDelta：通过前后图像进行饮食评估的视觉语言方法

准确的饮食评估对于精准营养至关重要，但大多数基于图像的方法依赖于单个消费前图像，并且仅提供粗略的膳食水平估计。这些方法无法确定实际消耗的内容，并且通常需要限制性输入，例如深度感测、多视图图像或显式分割。在本文中，我们提出了一个简单的视觉语言框架，使用配对的进食前后图像进行食品级营养分析。我们的方法不依赖严格的分割掩模，而是利用自然语言提示来定位特定的食品并直接从单个 RGB 图像估计其重量。我们通过使用两阶段训练策略预测配对图像之间的重量差异来进一步估计食物消耗。我们在三个公开可用的数据集上评估我们的方法，并证明对现有方法的持续改进，为饮食前后图像分析建立了强有力的基线。