RE-AD：遵守数据标签的实时要求

人工注释数据仍然是训练前沿 大语言模型 (LLM) 的基础。然而，众包注释经常会因注释者误解或缺乏参与而出现质量问题。为了解决这个问题，我们引入了实时要求遵守 (RE-AD) 框架，该框架利用 LLM 主动验证标签质量。我们的方法包括通过自我反思将标准操作程序 (SOP) 分解为原子规则，按复杂性对其进行分类，并应用分层验证策略。根据综合基准评估，该系统的 F1 分数为 0.749。此外，生产部署导致注释者接受并修复了框架标记的 82% 的错误。我们进行了消融研究，以证明我们核心设计决策的影响。