开源项目

SAJA:微软开源的以人类偏好校准LLM评审器方法

microsoft/SAJA

模型评测评测方法与指标

概述

SAJA由微软创建,处理LLM-as-judge的经典问题:模型评审器与人类判断之间存在系统性偏差。工程实现了一套以人类偏好数据校准LLM评审器的方法,并保证流程可复现,使校准结果可被第三方验证。对依赖模型评审做强化学习反馈或自动评测的团队,校准后的评审器能降低评分漂移。仓库创建于2026年4月下旬,属早期工程。