提示 Whisper 进行联合语音转录和分类

作为 MediSpeech 项目的一部分，我们的目标是开发一个系统，可以实时转录和记录医生和患者之间的荷兰语对话。在这项研究（正在进行中）中，我们探索了将 Whisper 与说话人二值化 (SD) 有效结合的方法。在尝试使用包含说话者标签的文本提示 Whisper 后，我们观察到它能够以令人鼓舞的准确性将标签插入到转录中。我们继续 微调 Whisper 的研究，使用说话者标记的提示来生成类似于序列化输出训练 (SOT) 格式的转录。 微调 Whisper 在长格式音频块中产生了更一致的说话者 ID，并改进了逐字转录。该研究发现了新的挑战，因为通过提示传播的错误以及分配给重叠语音的不准确时间戳导致 Whisper 的 SD 性能受到影响。