物理约束基础模型的智能体演化

摘要

AI日益驱动自动化科学发现——但当代通用智能体缺乏物理锚定——频繁幻觉出不兼容硬件的设计。我们提出物理锚定的多智能体发现引擎——自主架构化符合硬件的计算系统。该框架以结构化既往科学创新的演化知识图谱为锚——抽取“算法思维链”——把盲目的随机搜索转为定向的结构演化。应用于基础模型部署这一极端试验台——引擎演化出两种超越人工启发式的硬件感知压缩方法：Q-Enhance缓解稠密模型长上下文精度损失——MoE-Salient-AQ在亚3比特域较SOTA人工稀疏MoE设计高出3.7%。利用带宽高效的敏感度画像——我们成功把2350亿参数的大模型部署到受限双A100服务器——内存需求降低75%、精度仅降0.64%。通过把无约束组合搜索转为知识驱动的自主性——这确立了严格物理边界内机器驱动发现的可扩展软硬件协同设计范式。

物理约束基础模型的智能体演化：论文配图 — 图 1：自主闭环发现引擎的架构。该框架由四个功能层构成，将左侧的自主算法进化周期与右侧的约束感知硬件实例化流程集成在一起。输入层：处理全局架构演进的抽象压缩目标，以及本地硬件映射的硬件部署约束和轻量级模型分析指标。 EKG层：作为系统的基础内存，它组织历史优化轨迹，包括权重、激活和KV缓存量化范例。它提供结构化的进化先验来指导代理推理。代理引擎层：专门代理的异构集合直接在 EKG 之上运行。左边的路径自主地假设新的方法，进行严格的人工智能同行评审，并执行物理实现。同时，正确的路径具有硬件感知校准循环，可评估候选配置以确定最佳部署策略。输出层：产生经过验证的算法方法和硬件定制的压缩方案。成功的推导建立了一个确定性的反馈循环，由心电图中的虚线积分路径表示，动态更新图表以促进持续、自我改进的科学发现。