沙丘社区
论文

面向结构锚定 LLM 推理的尺度感知适配器

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu
模型架构Transformer

摘要

大语言模型 (LLM) 能够对生物分子结构进行推理，但现有方法仍然是特定于模态的，并且通常通过基于序列的标记化或固定长度查询连接器来压缩结构输入。这种架构要么忽略了减轻结构幻觉所需的几何基础，要么施加不灵活的模态融合瓶颈，同时过度压缩和次优地分配结构token，从而阻碍了广义全原子推理的实现。我们引入了 Cuttlefish，一种统一的全原子大语言模型，它将语言推理基于几何线索，同时用结构复杂性扩展模态标记。首先，缩放感知修补利用指令条件门控机制在结构图上生成可变大小的补丁，根据结构复杂性自适应缩放查询token预算，以缓解固定长度连接器瓶颈。其次，几何接地适配器通过对模态嵌入的交叉关注来细化这些自适应标记，并将生成的模态标记注入 LLM，暴露明确的几何线索以减少结构幻觉。跨不同全原子基准的实验表明，Cuttlefish 在基于异构结构的推理中实现了卓越的性能。代码可在项目存储库中找到。

面向结构锚定 LLM 推理的尺度感知适配器
图2：Cuttlefish 架构。该框架接受全原子输入（空间图：原子特征、坐标和空间关系），由 EGNN 处理以获得模态嵌入。该模型通过指令条件门控和软补丁生长机制实现 Scaling-Aware Patching。随后，Geometry Grounding Adapter 利用交叉注意力，用源自模态嵌入的细粒度几何特征来丰富自适应 token，进而将这些模态 token 投影到 LLM 的嵌入空间。