MIRA：医疗信息响应审计双语基准

大语言模型 (LLM) 越来越多地用于提供面向公众的健康信息，但现有的安全评估忽略了同一问题的不同用户措辞之间的响应是否保留了可比较的医疗信息。为了解决这个问题，我们引入了医疗信息响应审计（MIRA），这是一种双语的受控基准，用于评估大语言模型是否提供跨用户方语言、注册和健康素养信号的可比医疗信息。 MIRA 包含 4,320 个提示，由 60 个经过医学审查的低风险健康问题组成。在五个主流大语言模型中，模型回答了所有医学问题，但对低健康素养信号的反应始终忽略了更多关键信息，提供了更少的具体后续步骤，并且为独立判断提供了更少的支持。我们将这种模式称为差异信息稀释（DID）。语言效果是特定于模型的，而不是对于非英语提示都更差。与 300 个现实世界健康查询的比较提供了排序有效性的初步证据。以知识为导向的缓解提示可以减少大多数模型的信息稀释，其中 Claude (~8%) 和 Qwen (~6%) 观察到的信息不足简化的减少幅度最大。