Dynamo把实时工具调用与可续接预填充串入同一vLLM请求

Dynamo是面向大模型推理的分布式服务框架。本次vLLM实时文本worker新增函数工具、工具结果和删除会话项，工具参数以事件流返回，并支持按会话设置采样与推理选项。预填充从另起请求预热缓存改成保留一个StreamingInput请求，最终回答作为其最后一块输入；这让混合状态模型不再因约4k token的缓存边界重算短对话。作者在Nemotron 3.5 Lightning的2k token对话上测得首token中位延迟约160ms降至36ms，限于该模型配置。通过--endpoint-types chat,realtime可让同一引擎同时提供两个入口。工具调用通常需有效工具解析器；结构化输出、seed、LoRA或不延长原提示的输入会结束保留请求并回退新请求。前端对某些不完整事件仍有限制，本次未宣称全部实时协议行为已兼容。