论文

预算受限的具身感知:四堵资源墙与对31B以下开源模型上访问结构化感知的预注册评估

Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

模型评测基准与评测资源

摘要

具身多模态智能体必须在固定的每次决策token预算下,从不断增长的观测流中回答问题。我们通过四堵资源墙来形式化这一约束:针对有界状态的感知香农墙(perceptual Shannon wall)、针对与查询无关帧选择的视界墙(horizon wall)、针对非自适应检索的轮次墙(round wall),以及针对固定深度推理的条件组合墙(conditional composition wall)。我们提出ASP,一个面向冻结多模态模型的无训练包装器,它结合了封顶的结构化状态、逐字情景索引,以及带迭代访问的查询条件预算分配。我们遵循预注册协议,在SEW-Bench上评估了从3B到31B的七个开源权重模型;SEW-Bench是一个为实例化这些墙而构建的免许可合成长视界漫游基准。注册的自然视频基准因帧需要数据集协议而未运行;因此我们的证据涉及访问机制,而非自然场景感知。在4,096-token决策预算下,ASP达到75%至94%的情景检索准确率,而等预算的查询无关采样仅为3%至19%,且在每个骨干模型上,预算重分配都优于将采样预算翻四倍。然而,完整的三组件架构未能验证通道对偶性:移除压缩状态使旗舰均值从35.4提升到58.0,ASP在任何骨干模型上都不优于仅逐字基线,且四个预注册证伪标准中有两个被触发。这些结果表明,在固定预算下,起决定作用的是查询条件访问,而非参数量或上下文增长本身;而在此设置中,提示式在线压缩并不值得其成本。