论文
通过结构化表发现实现多样化模型发现
Diversed Model Discovery via Structured Table Discovery
摘要
模型卡通过文本描述和结构化工件（包括性能、配置和数据集表）的混合来描述模型行为。现有的模型搜索系统主要依赖于文本的语义相似性，这可以产生同质的结果集并限制对替代方案的探索。我们认为模型搜索本质上是比较性的：用户想要与任务一致但以可测量的方式区分的模型。我们假设这种平衡需要检索浓缩的高质量证据而不是冗长的描述，并且大部分证据集中在结构化表格中。我们推出了 StructuredSemanticSearch，这是一个基于 ModelTables 基准构建的表驱动模型搜索框架。给定一个查询，StructuredSemanticSearch 将任务对齐的语义基线与结构感知管道相结合，该管道使用表发现运算符（例如可联合性、可连接性和关键字搜索）发现与查询相关的模型卡表。检索到的表格在受控的 top-k 预算下映射回模型卡，从而实现基于文本和基于表格的检索之间的公平比较。除了检索之外，StructuredSemanticSearch 通过方向感知集成使表集成适应模型表域，从部分重叠且有时转置的证据表生成紧凑的表集成视图。为了进行评估，我们引入了一种基于块的可审核协议，该协议从模型卡中提取紧凑的证据项，将查询与条件或特定意图的块进行匹配，并测量检索到的模型卡候选集的证据覆盖率和多样性。该协议还提供了一条在动态模型湖中进行近似、基于证据的标记的可扩展路径。对 597 个模型推荐查询的实验表明，与语义基线相比，结构感知管道的块覆盖率有所提高