论文

您的语音质量指标有多容易被破解?修正后的协议、基准以及补丁的作用

How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys

模型评测评测方法与指标安全与风险评测

摘要

语音质量预测器越来越多地被用作奖励,但目前还没有一致的衡量其可破解性的衡量标准。通常的测量有两个缺陷。首先,扰动通过处理链(这里是神经编解码器)到达预测器,该处理链会自行改变分数,根据攻击的原始输入费用进行评分。相反,参考未受干扰的往返行程,可将测量到的可攻击性改变多达四倍(一次防御为 0.31 至 0.08)。其次,一名训练有素的攻击者是一个样本,而不是一种测量:五名攻击者仅在随机种子方面有所不同,针对一个固定预测变量的成功率达到 0.00 到 0.38,因此防御主张需要最坏的情况。在此协议下,四个已发布的预测器差异很大:NISQA 90% 的话语被黑客攻击,SSL-MOS 被黑客入侵 21%,DNSMOS 被黑客入侵 14%,UTMOS 被黑客攻击 6%。然后我们审核一个封闭的攻击-检测-补丁循环。它仅在自己的攻击空间中强化预测器,其强化程度小于攻击者之间的传播;随机扰动基线与其匹配;域外花费高达 0.30 系统 SRCC。增强剂 针对修补的预测器进行后训练,对它们的攻击要少得多(PESQ -0.03 与 -0.23)。代码、预注册和运行输出已发布。