NodeSynth：用于人工智能评估的社会一致综合数据

生成式人工智能的最新进展促进了用于模型评估的大规模合成数据生成。然而，如果没有针对性的方法，这些数据集通常缺乏敏感领域所需的社会技术细微差别。我们引入了 NodeSynth，这是一种基于证据的方法，通过利用基于现实世界证据的微调分类生成器 (TaG) 来生成与社会相关的综合查询。根据四种主流 LLM（例如 Claude 4.5 Haiku）进行评估，NodeSynth 的失败率比人类编写的基准高出五倍。消融研究证实，我们的细粒度分类扩展显着提高了这些故障率，而独立验证揭示了著名的保护模型（例如 Llama-Guard-3）的严重缺陷。我们开源端到端研究原型和数据集，以实现可扩展、高风险的模型评估和有针对性的安全干预措施 (https://github.com/google-research/nodesynth)。