论文
面向边缘无人机控制代码生成的CoT引导混合蒸馏
Hybrid Distillation with CoT Guidance for Edge-Drone Control Code Generation
摘要
随着大语言模型在代码生成任务中展现显著潜力,将其应用于资源受限无人机(UAV)的机载控制已成为重要研究方向。然而,大模型的高资源消耗与UAV平台的实时、轻量需求之间存在明显矛盾。本文提出一种融合知识蒸馏、思维链引导与监督微调的集成方法,面向UAV多SDK控制任务,旨在把复杂推理与代码生成能力高效迁移到较小模型。首先,构建覆盖主流UAV SDK的高质量数据集,其特征是“指令-代码-推理”链,并引入反事实负样本做数据增强,引导模型学习从指令解析到代码生成的端到端逻辑。其次,以经QLoRA量化的DeepSeek-Coder-V2-Lite作为教师模型,基于黑盒与白盒混合蒸馏策略生成高质量思维链软标签,并与使用硬标签的加权交叉熵损失结合,把复杂推理能力迁移给较小的学生模型。最后,通过针对UAV控制场景优化的提示工程,提升模型在SDK类型识别与函数调用匹配等核心任务上的表现。实验结果表明,蒸馏后的轻量模型在保持高代码生成准确率的同时,部署与推理效率显著提升,有效证明了本方法在实现UAV精准轻量智能控制方面的可行性与优越性。