沙丘社区
论文

LimiX-2：迈向通用结构化数据智能的上下文机制网络

LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

Xingxuan Zhang , Gang Ren , Hao Yuan , Hao Zou , Hongze Tan , Hui Wang , Jianhao Song , Jiansheng Li , Jiayao Zhang , Jinghan Zhang , Kaifang Li , Lang Mo , Li Mao , Mingchao Hao , Nuo Xu , Rui Ding , Ruiji Zhang , Shuyang Li , Siyu Mei , Tianyang Zhang , Weiyang Mu , Yancheng Dong , Yongxian Wei , Yuan Xue , Yuanrui Wang , Yue He , Zijia Yang , Ziyun Li , Dongzhe Li , Fuqiang Wang , Jiandong Liu , Jiawei Chen , Jiaxin Du , Kaijie Cheng , Kehan Li , Lei Sun , Linjun Zhou , Ningbo Dai , Qi Wang , Renzhe Xu , Shaoxing Du , Shumeng Yang , Wang Lu , Wenjing Chu , Xiannan Huang , Xiaoyu Lin , Xing Ai , Xinyan Han , Xuanyue Li , Xuanyue Su , Xukun Zhang , Yan Lu , Yaxin Zhang , Yi Qin , Yifei Huang , Yihan Xu , Yongle Lv , Yuanyuan Jiang , Yushan Han , Peng Cui
模型架构新型架构

摘要

我们介绍LimiX家族新模型LimiX-2，按此前建立的缩放定律指导模型与数据扩展。它采用上下文机制网络CMN范式，以上下文条件掩码建模CCMM预训练。CMN将上下文学习的组织原则从以目标为中心的预测转为面向机制的联合建模，不再围绕传统表格PFN的p(y|x,D_context)，而学习p(x,y|D_context)，即数据生成底层联合结构的上下文相关表示。预训练使用结构因果模型SCM生成的合成数据集，覆盖多样图结构、函数机制与观测过程。在TabArena、TALENT和BCCO上，LimiX-2优于当前数据集专用模型和表格基础模型。除预测表现外，CMN范式还促进因果感知：特征注意力编码直接因果关系，支持准确恢复因果骨架。

LimiX-2：迈向通用结构化数据智能的上下文机制网络：论文配图
图1：所测基准上的性能总览。LimiX-2在TabArena、TALENT和BCCO上的Elo分数分别为1935、1506和1432，超过所比较的基础模型及AutoGluon 1.6。TabArena仅展示AutoGluon最佳设置；柱端及标签为点估计，带端点标记的阴影区域为95%自助置信区间。