讲科学的语言：走向自然科学的通用生成基础模型

在本报告中，我们提出了 LOGOS（科学生成对象语言），这是一种科学生成语言模型，它将自然科学中的异构任务统一在基于共享科学语法的单个自回归框架内。它将不同的科学对象及其空间交互编码为通用词汇表上的标记序列。通过将空间接触和约束模式表示为离散标记，该模型以纯粹的顺序方式捕获复杂的结构相互作用，而不依赖于显式坐标或几何神经网络。这种统一的表示使得广泛的下游任务能够在同一语法空间中一致地制定为下一个词元预测，从而在持续的多域 预训练 和下游目标之间建立强大的一致性。在不同的任务中，LOGOS 始终匹配或优于特定领域的基线，为自然科学中“一个模型适合所有”的可行性提供了初步证据。我们在不同尺度（1B、3B 和 8B 参数）下训练 LOGOS 模型，并发现模型大小和性能之间存在一致的正相关关系。这表明人工智能科学（AI4S）的未来可能不在于构建一个独立于大语言模型（LLM）的独立技术堆栈。相反，可能依赖于通过共享架构、共享训练范式、共享推理基础设施，将科学基础模型与LLM深度对接，让LLM真正成为AI4S的新切入点。我们发布模型权重和相关资源以促进进一步的研究。