Pathway借助SageMaker HyperPod开发类脑模型

Pathway探索超越Transformer的BDH类脑架构，以神经元图中的稀疏局部交互和类似突触的状态连接进行计算。BDH-CQ通过递归潜在状态在推理时更新内部记忆，只解码候选答案，试图减少依靠长文本思维链推进推理的开销。团队使用Amazon SageMaker HyperPod扩展训练，使应用研究人员共享具有恢复能力的计算资源。文章将模型架构与训练平台实践结合，介绍稀疏激活等计算特征，但不能将典型约5%神经元激活直接解释为整个服务节省95%成本。交付保留其训练开发实践，不扩写为通用智能已经实现。