CogAdapt：认知信息引导的代码模型稀疏适配

大语言模型 (LLM) 生成代码的能力越来越强。然而，实现更强的代码生成性能仍然常常依赖于昂贵的模型适配，即微调预训练模型参数。先前的研究已经表明人类代码处理与神经模型的注意力或内部计算之间的对应关系。人性化的学习方法使用认知信号来指导训练，但通常会调整模型的很大一部分，从而使训练的成本基本保持不变。人类认知信号不仅可以指示模型必须学习什么，还可以指示适应在哪里最有用。我们研究代码阅读过程中人类的反应是否与代码模型行为相对应，并且可以在不牺牲性能的情况下指导选择性适应。我们提出了 CogAdapt，一个用于代码模型的任务相关稀疏自适应的认知知情框架。 CogAdapt 首先从人类脑电图 (EEG) 和注意力数据中学习可转移的程序级和 token 级先验，然后将这些先验与冻结模型对每个编码任务的响应相结合，以确定要分配多少适应以及哪些Transformer块应接收更新。在微调期间，仅更新选定的块，而无需新的人工记录进行推理。在 Qwen 和 GLM 中，我们发现人类阅读行为和混合专家 (MoE) 计算之间存在一致的对应关系。 CogAdapt 在 LiveCodeBench 和 BigCodeBench 上均实现了最佳 pass@1，包括在 LiveCodeBench 上比匹配的常规微调分别提高了 10.86 和 6.29 个百分点，同时将符合梯度条件的适配参数减少了 86.21-87.21%。这些结果表明，人类理解信号可以为使代码模型适应更具选择性和更有效提供有用的指导。