论文

DALM:通过三相结构化生成的领域代数语言模型

DALM: A Domain-Algebraic Language Model via Three-Phase Structured Generation

模型架构新型架构

摘要

大语言模型 将异构知识压缩到单个参数空间中,允许来自不同领域的事实在生成过程中相互干扰。我们提出了 DALM,一种域代数语言模型,它用域格上的结构化去噪取代了无约束的标记生成。 DALM 遵循三阶段生成路径:它首先解决领域不确定性,然后解决关系不确定性,最后解决概念不确定性,因此每个阶段都在显式代数约束下运行。该框架仅需要三个要素:具有可计算的满足、连接和蕴涵的域网格;控制跨域继承的关系类型函数;以及将知识本地化到特定领域子集的纤维分区。考虑到这些成分,DALM 产生了一个三相编码器-解码器架构,其中生成被限制在域光纤中,在封闭词汇表模式下从结构上防止跨域污染,在开放词汇表模式下以可审计方式限制,并且单个查询可以生成域索引的多视角答案空间。我们使用 CDC 知识表示系统实例化该框架,并概述对经过验证的领域注释晶体库的训练和评估。 DALM 将语言生成重新定义为代数约束的结构化去噪,而不是平面词元空间上的无约束解码。