论文

HyperThink:文本到参数超网络的高效推理

HyperThink: Text-to-Parameter Hypernetworks for Efficient Reasoning

模型推理测试时计算扩展

摘要

长思考链可大幅改善LLM的多步推理性能,但引入高推理时开销——延迟由顺序解码主导。我们提出HyperThink,一种文本到参数方法:把推理计算摊销为单次查询条件的参数更新——轻量超网络读取问题并预测基座LLM一小部分参数的更新,向量量化解码器把它们约束到有限的可复用模式集合以改善鲁棒性与迁移。在基座模型自身输出上端到端训练后,HyperThink在测试时消除长思考链:一次超网络前向后,适配后的模型生成简洁的逐步解与最终答案而无需中间轨迹,token远少且保持强推理性能。实证上HyperThink改善数学与通用推理任务准确率-延迟权衡的低延迟区,增益在近不思考区间最强。