当表面形式改变审核决策时：代码混合工作流不稳定性的配对研究

仇恨调节通常被评估为对干净英语输入的分类，但部署的系统必须将内容路由到“允许”、“标记”或“审核”等操作。我们使用配对评估设置来研究此工作流程在代码混合输入下如何变化，其中相同的基础内容表示为干净的英语和泰米尔英语代码混合。在根据干净英语发展数据调整的阈值下，代码混合输入会产生很大的动作不稳定性，配对的干净到代码混合决策翻转率为 0.265。主要的工作流程影响是审核负担增加和非仇恨内容误报率增加：审核率从 0.138 上升到 0.297，非仇恨误报率从 0.069 上升到 0.104。仅泰米尔语输入总体上表现出更强的退化，这表明更广泛的语言覆盖范围限制，而不是相同的代码混合不稳定模式。一个简单的基于分歧的延迟规则可以减少压力输入上的自动错误，但只能通过增加审核负载来减少。这些结果表明，工作流程级别的评估揭示了标准分类摘要可能遗漏的审核失败。