论文
AdaQE-CG:面向网络规模生成式AI模型卡与数据卡生成的自适应查询扩展
AdaQE-CG: Adaptive Query Expansion for Web-Scale Generative AI Model and Data Card Generation
摘要
透明且标准化的文档对构建可信的生成式AI(GAI)系统至关重要。然而,现有的模型卡与数据卡自动生成方法仍面临三大挑战:(i) 静态模板——多数系统依赖固定查询模板,无法适应多样的论文结构或不断演化的文档需求;(ii) 信息稀缺——Hugging Face等网络规模仓库常包含不完整或不一致的元数据,导致信息缺失或含噪;(iii) 缺乏基准——标准化数据集与评估协议的缺失阻碍了对文档质量的公平、可复现评估。为解决这些局限,我们提出AdaQE-CG,一个将动态信息抽取与跨卡片知识迁移相结合的自适应查询扩展卡片生成框架。其基于上下文感知查询扩展的论文内抽取模块(IPE-QE)迭代优化抽取查询,从科学论文与仓库中恢复更丰富、更完整的信息;其利用MetaGAI Pool的跨卡片补全模块(ICC-MP)通过从精选数据集中相似卡片迁移语义相关内容来填补缺失字段。此外,我们引入MetaGAI-Bench,首个用于评估GAI文档的大规模专家标注基准。覆盖五个质量维度的全面实验表明,AdaQE-CG大幅优于现有方法,超越人工撰写的数据卡,并在模型卡上接近人类水平。代码、提示词与数据已公开于:https://github.com/haoxuan-unt2024/AdaQE-CG。
