小红书以请求上下文和分维度Judge评测推荐内容

推荐评测Agent围绕EvaluationContext组织执行，保留用户长期兴趣、近期消费、请求时间及内容顺序。结构化事实由代码直接计算，需语义解释的内容由LLM按限定证据和0/1/2评分标准判断，各维度独立保留分数、理由及执行状态。 团队以相同输入和Rubric进行人工—模型校准，观察加权Kappa、低分问题召回和人工一致性上限；更新Prompt、规则或模型时，在固定样本上做版本回归。输入快照和实际生效配置支持回放，结果可从实验维度逐层下钻到请求、内容与原始证据。 该系统补充内容质量、兴趣、时效和多样性诊断。CTR、停留和互动沿独立链路观察，不用于给LLM语义评分，也不能由语义分数直接推断行为效果；连续用户模拟仍是探索方向。