面向结构化知识检索与推理的可信领域AI

本论文提出了一种可扩展的架构，用于将非结构化、特定领域的文本转换为结构化知识以进行检索和推理。它将半自动语料库管理、语义结构化、检索和推理集成到可解释的管道中。该研究引入了Binary Bleed，这是一种适应的二分搜索方法，可降低非负矩阵分解（NMF）的低秩搜索复杂性，以及具有自动潜在特征选择（HNMFk）的分层NMF，这是一种深度自适应主题建模方法，可在主题专家的指导下生成可解释的分类法。这些表示填充一个类型化的知识图和一个语义对齐的向量存储，其中包含提取的潜在特征，并通过事件驱动的底层进行同步。张量结构检索增强生成 (T-SRAG) 跨检索路径动态路由查询。对比对齐将文档和查询嵌入映射到分层主题结构，以提高语义保真度并减少幻觉。除了检索之外，基于张量的链接 预测识别并补全知识图中缺失的链接，支持基于引文结构的推理。网络安全、法律、材料科学和医疗保健领域的应用证明了检索精度、早期趋势检测、假设生成和幻觉缓解方面的改进。该论文为可信赖的、特定领域的人工智能系统提供了可部署的模块化基础，这些系统可以检索和推理结构化知识。