超越语言的知识：弥合多语言机器学习评估的差距

虽然 LLM 越来越多地用于商业服务，但它们会带来隐私风险，例如泄露敏感的个人身份信息 (PII)。对于在多语言语料库上训练的 LLM，多语言机器取消学习（MMU）旨在删除跨多种语言的信息。然而，之前的 MMU 评估未能捕获这种跨语言的信息分布，很大程度上仅限于每种语言评估协议的直接扩展。为此，我们提出了两个指标来评估跨语言传播的信息：知识可分离性得分（KSS）和知识持久性得分（KPS）。 KSS 衡量多种语言的整体遗忘质量，而 KPS 更具体地旨在评估不同语言对之间信息删除的一致性。我们用这些指标评估了多语言环境中的各种遗忘方法，并进行了全面分析。通过我们的调查，我们深入了解了 MMU 独有的独特现象，并为 MMU 评估提供了新的视角。