论文

学习蛋白质折叠是否可以推广到更广泛的推理?

Does Learning Protein Folding Generalize to Broader Reasoning?

模型训练监督微调与指令调优

摘要

大语言模型严重依赖于人类文本,而人类文本通常传达表面答案,而不是其背后的空间和结构逻辑。蛋白质折叠是一个天然的测试平台,因为一个解决的结构会产生数千个精确可检查的空间和拓扑陈述。我们问:学习折叠蛋白质能否教会通用模型可重用的推理能力?为了回答这个问题,我们构建了 FoldingCorpus(一个蛋白质衍生的问答数据集)和 Fold2Reason(一个通过两个互补信号对其进行后训练的配方):通过模型的母语头部预测的离散结构答案,以及从相同共享表示解码的连续 3D 几何图形。在 FoldBench 上,Fold2Reason 的结构预测分数是 Qwen3.5-9B 的 2.7 至 3.5 倍。除了蛋白质结构预测之外,它还提高了涵盖空间、图形、科学和一般推理的所有 10 个基准的性能,将宏观平均准确度从 45.09% 提高到 48.33% (+3.23 pp),在所有 10 个基准上都取得了正收益,而从随机、合成和改组结构构建的匹配控制则产生了小得多的收益或负收益。我们的工作表明,非语言的、结构密集的科学数据可以系统地改进语言模型中的广泛推理,使已解决的科学问题成为训练后监督的实用来源。