PEEL从Matryoshka嵌入前缀解码概念粗细层级与is-a本体

分类法构建对于知识密集型 NLP 至关重要，但成本仍然很高：基于聚类的方法 (i) 需要仔细的每个语料库调整并产生不稳定的层次结构，而基于 LLM 的管道 (ii) 依赖于昂贵的特定于任务的训练，而这些训练不能跨领域迁移。我们报告了一项与这两方面有关的实证发现：在俄罗斯套娃表示学习（MRL）嵌入中，每个前导前缀本身就是一个可用的、较粗的向量，前缀长度与真实标注分类体系的从粗到细的粒度一致；打乱维度顺序和反转维度顺序的对照实验表明，这种对应关系来自模型学得的前缀早期维度。该模式适用于三个架构不同的 MRL 模型。为了测试这种规律性是否可用，我们引入了 PEEL（剥离嵌入以提取潜在本体）：作用于这些冻结嵌入的轻量探针，使用将层次结构表示为向量包含的序关系嵌入目标进行一次训练；然后最小生成有向树解码分类 DAG。仅使用概念词汇（无文档），PEEL 在两个 OLLM 基准上恢复具有高结构保真度的分类 DAG，转移到没有目标领域的边监督的新领域。端到端 OLLM 管道联合发现概念并从文档语料库中归纳结构，被报告为跨任务参考。预训练的检索嵌入编码可解码的粒度梯度；最小探针将其呈现为显式父子 (is-a) 结构。