开源项目
Liquid Network Model 开放液态循环语言模型训练与生成实现
blacklike02/Liquid-Network-Model
概述
Apache-2.0单文件PyTorch工程实现液态循环语言模型,LTC模式用输入相关时间常数和指数积分,CfC模式采用闭式插值;可选择多时间尺度、状态携带和额外块记忆。训练使用下一词元交叉熵,截断反向传播在子块之间携带但分离梯度状态,支持字符或BPE分词。用户需自备语料训练再生成,仓库未提供经过通用能力验收的大模型权重。最小语料仅适合冒烟检查,逐词元Python循环也有性能代价。