论文

聚类即推理:思维链图学习的k-means解释

Clustering as Reasoning: A $k$-Means Interpretation of Chain-of-Thought Graph Learning

模型推理推理策略与问题分解

摘要

思维链(CoT)提示在增强大语言模型(LLM)对文本属性图(TAG)的推理能力方面已展现出前景。本工作通过“聚类即推理”的原则重构基于CoT的图学习,为迭代推理如何在图结构数据上运作给出k-means解释。我们观察到,现有图CoT方法依赖彼此分离的架构与固定的图表示,限制了逐步的语义-拓扑交互和可解释性。为克服这一局限,我们提出名为KCoT的统一框架,将CoT推理与图表示学习相整合。我们的关键理论结果揭示了Transformer块与k-means算法之间的形式化数学对应,使推理可被解释为迭代的分配与更新步骤。基于这一洞见,我们引入语义判别提示(Semantic Discriminating Prompt),将这些步骤显式地表述为结构化CoT推理,并提出一种以结构为依据的对齐策略,将拓扑先验与随思维条件化演化的表示相融合。在标准基准上的实验表明,相较最先进方法取得一致改进,验证了聚类可作为基于CoT图学习的一种有原则的机制。

聚类即推理:思维链图学习的k-means解释:论文配图
图1:Cora上的提示示例:模型过滤无关邻居C,聚焦Dirichlet Mixtures、Hidden Markov Models等特征。