开源项目
Google ADK评测不再把模型思考内容当成用户可见回答
Stop judge and Vertex metrics from scoring model thoughts
概述
ADK在include_thoughts或PlanReActPlanner场景下,会把部分内部规划文本标记为thought。此前除response_match_score外,多种指标仍把所有文本拼成回答,导致final_response_match_v2等judge把内部推理视为用户已看到的内容。此次主线修复统一在文本提取时跳过thought部分,覆盖若干rubric、幻觉、用户模拟及Vertex单轮response_evaluation_score/safety指标,同时读取judge自己的结论时也忽略其thought。只有思考而无最终回答的输出将按空回答处理,不能再借内部推理支撑幻觉判定。Vertex多轮指标保持结构化content及thought标记,仍由Vertex决定judge能否看到推理。该更新影响评测结果的解释与升级前后可比性,不宣称模型能力本身提高。