论文
超越 WER:针对环境临床抄写员的配对声学压力测试
Beyond WER: A Paired Acoustic Stress Test for Ambient Clinical Scribes
摘要
环境临床抄写员越来越多地将自动语音识别与 大语言模型 结合起来以实现文档自动化。然而,诸如字错误率之类的传统指标掩盖了系统安全性的下降。我们提出了配对声学压力测试,以隔离噪声对临床推理的因果影响。对于相同的对话,我们注入不同的噪声类型,同时保持下游模型配置冻结。至关重要的是,我们发现信号保真度和临床安全之间存在危险的脱节。固定环境噪声使字错误率增加了 0.71 个百分点,可以忽略不计,但不安全输出率却几乎增加了一倍。我们的分析表明,轻微的声学扰动可以颠倒临床意义,而不会大幅增加错误率。此外,我们演示了一种轻量级缓解策略,可以减轻噪声条件下的安全性下降,而无需模型 微调。