论文
面向价值驱动大语言模型智能体的Context-Value-Action架构
Context-Value-Action Architecture for Value-Driven Large Language Model Agents
摘要
大语言模型(LLM)在模拟人类行为方面展现出潜力,但现有智能体常常表现出行为僵化,这一缺陷常被当前“LLM当裁判”(LLM-as-a-judge)评估的自我指涉偏差所掩盖。通过对照经验真值进行评估,我们揭示出一个反直觉现象:增强提示驱动的推理强度并不能提升行为保真度,反而会加剧价值极化,使群体多样性坍缩。为解决这一问题,我们提出Context-Value-Action(CVA)架构,其基础是刺激-机体-反应(S-O-R)模型与Schwartz基本人类价值理论。与依赖自我验证的方法不同,CVA通过一个在真实人类数据上训练的新型Value Verifier,将动作生成与认知推理解耦,以显式建模动态的价值激活。在包含超过110万条真实世界交互轨迹的CVABench上的实验表明,CVA显著优于基线。我们的方法有效缓解了极化,同时提供了更优的行为保真度与可解释性。
