使用指令调整根据自然语言规则进行与领域无关的文本编辑

随着个人和企业通信的数字化程度不断提高，文本数据的自动清理已成为数据隐私和合规框架的重要组成部分。传统的文本清理解决方案主要适用于隐藏具有标准结构的敏感数据，例如个人身份信息（PII）。这些解决方案没有为其编辑提供透明的理由，这使得审核它们变得困难。本文介绍了一种可解释的、与领域无关的文本编辑解决方案，该解决方案使用自然语言编辑规则，通过指令调整的语言模型应用，来识别和编辑非结构化文档中的敏感信息。与传统的文本清理不同，该方法使用户能够方便地定义任何敏感信息；它可以是自然语言的结构化（例如\ PII）或非结构化（例如\ 法律条款和条件）。通用 LLM 根据用户的定义生成或增强这些自然语言编辑规则，然后使用这些规则对较小的语言模型进行指令微调，该模型在任何给定文档上逐步推理规则以识别和编辑相应的敏感内容，同时为每个编辑提供透明的理由并突出显示触发决策的特定规则。此解释以自然语言生成，以支持人工审阅者和审计员理解为什么特定内容被编辑。基于重建的度量用于估计从清理文档中恢复编辑信息的概率，从而量化编辑覆盖范围。该解决方案具有较高的重建误差和较高的编辑精度，使其适用于法律发现、医疗文档和公司信息治理等关键应用中的自动文本清理。