开源项目
Langfuse让Agent通过MCP批量评估既有调用记录
Add MCP runBatchEvaluation and batch action tracing
概述
runBatchEvaluation允许Agent对已有观测运行保存的v2评估器,复用与界面相同的BatchEvaluationService及evaluationRule:CUD权限。该入口标记为高开销操作,在Halo中需要批准;预览功能需显式开关,计划访问门槛及回溯时限由服务端执行。 新增batch_action_id从任务队列传递到执行trace和LLM judge、代码及决策评分,可按批次查找结果。此次交付改变的是批量评估的调用和追踪方式,评估器质量本身仍由具体规则和数据决定。仓库MIT核心与单列EE目录分别许可,新增核心服务采用MIT,其他目录需分别核对许可。