论文
PTC-Decoder:以有限状态约束改善离线小模型工具步骤
PTC-Decoder: Towards Intelligent SLMs on Offline Resource-Constrained Edge Devices
摘要
在离线、资源受限的边缘设备(例如遥感卫星)上部署小语言模型(SLM)面临着根本性的挑战:它们有限的推理能力阻碍了需要复杂工具编排的多步骤代理任务的可靠执行。现有的计划解决范式依赖于基于提示的执行,而我们的实验表明 SLM 几乎完全忽视了这一点:弱模型无法调用计划。我们提出了 PTC-Decoder(计划工具约束解码器),这是一种免训练、即插即用的解码器框架,它结合了(1)计划到行动范式,它将计划提升为原子工具并在第一个推理步骤强制调用它;(2)TC-Decoder,一种确定性有限自动机,它对工具名称施加词元级硬约束,同时保留参数生成的自由度,从而保留 SLM 推理能力。通过对 7 个 SLM 中的 200 个真实遥感卫星任务进行评估,PTC-Decoder 产生了统计上显着的平均总体得分增益 +1.21 (p<0.01)、95% CI [+1.13, +1.29]),模型和其他数据集都有一致的改进。一项删除 TC-Decoder 的消融研究会导致所有质量指标的性能大幅下降,而不会降低计算成本,从而确认 TC-Decoder 是主要驱动因素。因此,PTC-Decoder 提供了一种轻量级但有效的解决方案,用于提高步骤级可靠性,但最终答案的准确性仍然是一个开放的挑战。本质上,我们通过在推理过程中限制允许的输出词汇来强制遵守计划,而不需要重新训练。
