开源项目

llama.cpp将无效grammar类型从整服终止改为请求错误

common : reject out-of-range grammar_triggers type instead of aborting (#30835)

AI 基础设施推理服务

概述

llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。此前grammar_triggers[].type为99等未知值会到达GGML_ASSERT,直接SIGABRT,后续/health也不可达。最终补丁在common_sampler_init改抛runtime_error,使既有服务错误处理能够返回请求错误。PR报告同请求修复后为400且/health为200;合入差异只含实现,原计划新增测试已在最终版本移除,不能称本包交付了该回归测试。b12405含修复。它保护推理进程可用性,不是Agent专用安全机制。