论文
通过模型压缩和并行验证实现基于 LLM 的高效广告
Efficient LLM-based Advertising via Model Compression and Parallel Verification
摘要
大语言模型（LLM）在广告创意生成、精准广告等广告场景中展现出了非凡的潜力。然而，由于推理延迟和计算成本较高，在实时广告系统中部署 LLM 会带来重大挑战。在本文中，我们提出了一种高效的生成目标框架，该框架集成了自适应组量化、层自适应分层稀疏化和前缀树并行验证，以加速 LLM 推理，同时保持生成质量。对两个现实世界广告场景的广泛实验表明，我们的框架在可接受的质量下降的情况下实现了显着的加速，使其在实际部署中可行。