PromptPack：为在线推荐扩展LLM标注智能体

在线推荐平台日益用大语言模型（LLM）从广告创意中抽取结构化特征。虽然部署单次调用的LLM标注智能体在我们生产环境中带来显著CTR提升，但逐创意提示的成本高到无法规模化：每个请求发送的冗余系统指令占计费输入token的94%。为突破该成本瓶颈，我们引入PromptPack，一个可扩展、高吞吐的LLM标注智能体：经上下文内批处理实现规模化——组合共享系统提示、严格的XML结构信封与输出修正层，确保跨多个创意同时进行确定性的、管线就绪的特征抽取。我们经使用下游逻辑回归排序器的离线检索基准评估PromptPack；为深入剖析智能体行为，我们测量AUC并引入量加权绝对提升（VWAL）——一个捕捉生成特征信号质量的新指标。与在线未批处理的生产基线相比，批量20的PromptPack把LLM成本削减89%、吞吐加速2.5倍，同时完整保持AUC。