论文
从固定键到可读模式:车辆代理函数调用的小语言模型
From Fixed Keys to Readable Schemas: Small Language Models for Vehicle Agent Function Calls
摘要
车载助手须在严格内存和延迟约束下,将自然语言请求转为准确的车辆功能调用,小语言模型因此适合端侧部署。关键设计是如何展示可调用功能:为每个函数设专用功能词元FT,或直接在提示中提供函数定义SIP。FT推理紧凑但仅限训练时学过的函数;SIP可泛化到未见函数,但提示更长、推理开销更高。我们构建9822项单轮样本、79种Android Automotive车辆功能的基准,包括留出函数和需拒绝的请求,在相同微调条件下比较270M至1.7B的四种模型。已见函数中,增大规模收益有限:270M可匹配1.7B,整体最佳是0.6B。留出函数中,FT按设计准确率为零,SIP可泛化且随规模明显改善。范围外请求中,FT可能调用训练过但当前不可用的函数,SIP则更可靠地依据已提供函数拒绝调用。这种灵活性需更高内存与延迟;理论分析解释了泛化来源及长函数定义上下文的推理成本。功能表示方式,而非模型规模本身,决定车载小语言模型调用的能力与失败模式。