语义引导的概念

基于激活的转向提供了在推理时对 LLM 行为的控制，但主导范式将每个概念简化为单个方向，其几何形状在很大程度上未经检查。我们不选择单一的转向方向，而是使用概念器：根据双极概念的两个极点汇集的激活估计的软投影矩阵，它保留了概念的完整多维子空间。几何分析显示双极子空间严格包含单向量基线。我们进一步表明，概念配额提供了一种无参数的层选择诊断，在三个指令调整模型和三个语义维度上预测概念可分离性，皮尔逊相关性高达 r=0.96。除了选择之外，概念设计者还承认封闭式布尔代数（AND、OR、NOT）：我们评估主题相关子概念的概念设计者组合性。在系统的五轴设计空间评估中，概念器在概念子空间是多维的层上匹配或优于附加基线，同时产生的简并输出显着减少。概念转向是一种几何原理、组合且实际上更安全的替代方案，可替代有限数量的对比对的单向转向。