价值对齐税：度量LLM对齐中的价值权衡

现有的价值调整工作通常静态地表征价值关系，忽略了干预措施（例如提示、微调或偏好优化）如何重塑更广泛的价值体系。我们引入了价值调整税（VAT），这是一个框架，用于衡量调整引发的变化如何在相互关联的价值之间传播，相对于实现的目标收益。增值税捕捉了调整压力下价值表达的动态。使用基于施瓦茨价值理论的受控场景-行动数据集，我们收集配对的前后规范判断，并分析模型、价值观和对齐策略之间的对齐效果。我们的结果表明，一致性常常会在价值观之间产生不均匀的、结构化的共同运动。这些影响在传统的仅目标评估下是不可见的，揭示了系统性、流程层面的一致性风险，并为大语言模型价值一致性的动态提供了新的见解。