开源项目

llama.cpp恢复Anthropic请求中的逐次推理强度设置

server : fix output_config.effort being dropped in /v1/messages

AI 基础设施推理服务

概述

llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。此前Anthropic兼容请求中的output_config.effort没有进入模型聊天模板,客户端要求低强度时仍可能使用默认思考,要求高强度也可能不足。此次转换器将非空effort写入reasoning_effort;新增测试对比count_tokens模板渲染结果,确认与显式chat_template_kwargs一致。b12415包含修复。它恢复请求语义,未报告通用时延或质量收益;PR讨论指出模板拒绝某些等级时的500错误另由后续工作处理。