ToxiShield:通过实时毒性过滤促进包容性开发者沟通
ToxiShield: Promoting Inclusive Developer Communication through Real-Time Toxicity Filtering
摘要
代码审查期间的有害交互会破坏团队合作并降低软件工程 (SE) 团队的生产力。虽然之前的研究探索了毒性检测和实证调查,但它们缺乏实时解毒工具来支持 SE 社区。为了解决这一差距,我们推出了 ToxiShield,这是一个 GitHub Pull 请求的浏览器扩展,它使用三个模块构建:i) 毒性过滤器 - 识别文本是否有毒,ii) 沟通教练 - 促进及时的细粒度毒性分类和解释,以及 iii) Reframer - 生成有毒文本的修订后的、建设性的替代方案。对于每个模块,我们都训练和评估了多个深度学习和 大语言模型 (LLM),以确定最佳选择。基于 BERT 的二进制检测模型在 38,761 个代码审查样本上进行训练,达到了 98% 的准确率和 97% 的 F1 分数,并被选为毒性过滤器模块的模型。对于沟通教练,经过及时调整的 Claude 3.5 Sonnet 在具有详细推理的多级毒性分类中取得了最佳性能,MCC 为 39%,F1 为 42%。对于 Reframer,我们使用 微调 策略在包含 10,120 条代码审查评论的数据集上评估了 5 个 LLM。经过微调的 Llama 3.2 模型实现了 95.27% 的风格转移准确率、97.03% 的流畅度、67.07% 的内容保留率和 84% 的 J 分数。我们使用技术接受模型对 10 名参与者进行了人工评估,进一步验证了 ToxiShield,确认其实用性和易于采用性。 ToxiShield 为推进软件工程领域的建设性沟通、推动开源社区的包容性和更健康的协作树立了基准。