SEEK：利用可进化知识进行工业搜索的技能导向评估

搜索质量评估为工业搜索系统的开发和迭代提供了必要的监督和诊断信号​​。尽管大型语言模型 (LLM) 提供了手动评估的可扩展替代方案，但可靠的自动评估仍然具有挑战性：用户在页面级别体验搜索结果，而适用的评估标准是多维的且不断发展。将所有评估标准打包到统一的提示中会引入不相关的上下文和潜在的标准干扰，而通过训练后将它们内部化则将规则更新与昂贵的模型重新训练周期紧密结合在一起。为了解决这些问题，我们提出了基于可进化知识的技能导向评估（SEEK）。具体来说，SEEK 将特定的搜索评估标准外化到技能库中，为每个查询结果列表对动态路由相关技能，并采用任务适应的列表评估器来生成页面级判断和故障模式归因。两阶段的训练流程教会评估者将评估标准与人类偏好保持一致，而重放门控技能库允许在不进行模型重新训练的情况下纳入经常性的评估知识差距。工业短视频搜索实验表明，SEEK提高了列表质量评估准确性，并在归因诊断方面取得了显着进展。 SEEK已部署在日活跃用户超过4亿的短视频平台快手，显着提升了在线搜索评价的规模和质量。