模型

Mercury 2:Inception 更新低延迟与工具调用能力

Mercury 2能力更新

模型推理推理加速

概述

Inception 上线更新后的 Mercury 2,改进包括降低首个 token 等待时间与端到端延迟、提高工具调用可靠性。更新后的模型继续通过 Inception API 提供,并同步上线 Baseten 平台,调用方多了一个部署与对比渠道。对依赖多轮工具调用的应用而言,首段与端到端延迟的下降会直接改善交互体验,具体提升幅度可参考官方博客与模型文档。