BitTP：基于 BitLLM 的边缘设备轻量级轨迹预测模型

轨迹预测是自主系统的一项基础任务，需要对多智能体交互与意图进行复杂推理。大语言模型（LLM）近来被用于该任务，因为它们能提供强大的上下文推理能力和可解释的、基于语言的轨迹表示。然而，这类基于 LLM 的预测器对内存与算力的消耗极大，难以部署在资源受限的边缘设备上，例如自主机器人上的机载计算机。为弥合这一差距，我们提出 BitTP，将基于 LLM 的轨迹预测器转换为轻量级的 bitlinear 架构。我们证明仅对权重进行 1.58 比特量化（BitTP-Weight）是最优的。关键在于，激活值必须保持全精度，因为对激活值量化会导致时空推理的严重退化与不稳定。实验表明，BitTP-Weight 不仅保持而且提升了相对全精度（BF16）LLM 基线的预测质量，平均将 ADE 降低 14.29%、FDE 降低 20.97%，同时与其他量化方法相比还降低了内存占用与推理延迟。这些结果表明，精心设计的量化可以充当有效的正则化手段，使复杂的基于 LLM 的推理得以在边缘设备上实际部署。代码已发布于：https://github.com/MintCat98/BitTP。