开源项目
llama.cpp修复多问题共享前缀时System One端点缺失输出嵌入
server: cap shared decision prefixes at the first output (#30710)
概述
多个决策问题共用选项token并使用多slot时,前缀共享可越过各任务首个输出位置,最终batch没有所需嵌入,端点返回500。 共享前缀截到父子任务首次必需输出位置,保留send_decision读取的选项标记嵌入。 修复在b12023交付;这是已有决策服务的正确性修复,不是新决策模型发布。