戒烟建议审计发现用户画像影响事实覆盖且提示干预跨模型不稳

现在，数以亿计的人向大型语言模型（LLM）聊天机器人寻求健康建议，这提出了一个很容易提出但很难回答的问题：每个人都得到相同的建议吗？我们通过向生命阶段、自我描述的专业知识和吸烟史不同的 12 个用户角色提出相同的四个戒烟问题，总共获得 2,880 个回答，对来自四家供应商、被广泛部署的六个 LLM 在戒烟领域的表现进行了审计；该领域已有成文的临床指南，且具有重要公共卫生意义。模型所说的取决于提出问题的人。每个模型向青少年角色提及 FDA 批准的处方戒烟药物的频率都低于向成人角色提及的频率，低 32 至 67 个百分点，并且在六个模型中的五个中，提供医疗保健专业知识的角色比不声称具备专业知识的角色接收到的事实要少。然后，我们评估一个可部署的干预措施：一个简短的系统提示，指定一个事实底线，即每个用户在相关时应该收到的一组核心医疗事实，同时保留语气、词汇和框架自由适应。该提示缩小了每个模型中的角色差异，但其对整体事实覆盖范围的影响在不同模型中的幅度和方向上都有所不同，因此不能假设在一个系统上验证的提示会转移到另一个系统上。这些结果有两点注意事项。同等提及率并不总是正确的临床目标，因为不建议未成年人进行处方戒烟药物治疗，因此可辩护的事实底线必须考虑年龄而不是统一。由于我们的人物角色在多个属性上同时存在差异，因此我们报告场景层面的差异，而不是年龄或专业知识的孤立影响。我们发布了全部 2,880 个回复和分析代码。