HIERA：内容发现系统的分层多代理相关性评估

内容发现系统依赖于搜索质量评估的相关性判断，但人工注释面临注释者间的分歧和缩放成本。虽然 大语言模型 显示出作为自动化评估器的前景，但当前的方法依赖于平面聚合策略：单步提示、投票集成或不协调的多代理管道，这些管道聚合独立输出而无需集成。我们提出了 HIERA，一个分层多代理相关性评估框架，具有四个专门代理：相关性判断器、查询分析器、项目分析器和关系分析器。法官决定何时需要专家分析；然后，关系分析器将查询和项目分析与外部知识协调起来，建立相关关系以进行最终判断。消融研究表明，没有分层协调的相同代理和外部知识会降低性能，这证实了协调结构本身可以解释这种改进。对五个数据集（EVS、MSRD、ESCI、WANDS、Home Depot）的评估显示了 11 个基线的改进：Home Depot 为 10.2%，ESCI 为 4.8%，EVS 高达 38%（$p < 0.05$）。与使用相同代理的不协调协作相比，分层协调可提高 12.7%。