论文

EMPA:把人设对齐的共情评估为过程

EMPA: Evaluating Persona-Aligned Empathy as a Process

智能体系统Agent任务评测

摘要

评估基于LLM的对话智能体中与人设对齐的共情仍具挑战。用户状态是潜在的,反馈稀疏且难以就地验证,看似支持性的对话轮次仍可能累积成偏离人设特定需求的轨迹。我们提出EMPA,一个面向过程的框架,把与人设对齐的支持评估为持续干预而非孤立回复。EMPA把真实交互蒸馏为可控、有心理学依据的场景,将其与开放的开放式多智能体沙箱耦合以暴露策略适应与失败模式,并在潜在心理空间中按方向性对齐、累积影响和稳定性为轨迹评分。由此产生的信号与指标支持长时程共情行为的可复现比较与优化,并可扩展到其他受潜在动态和微弱、难验证反馈塑造的智能体场景。

EMPA:把人设对齐的共情评估为过程
图9:EPM-Q 适应性分析。模型在常规(Routine,浅色)与挑战性(Challenging,深色)场景上、跨情感(Affective, A)、认知(Cognitive, C)与主动(Proactive, P)轴的性能比较。