TLS AgentLoop 上线 LLM 应用全链路可观测:LLM Observer SDK + Session/Trace/调用链仪表盘
TLS 全链路可观测体系:破解 LLM 应用黑盒,实现会话透明复盘
概述
TLS 针对 LLM 应用黑盒问题提供四层可观测方案:应用侧在 TypeScript 应用中引入 LLM Observer SDK,通过 instrumentOpenAI 包装模型客户端,由 SDK 采集用户请求、模型交互、工具调用与异常信息,SDK 不负责调用模型,应用仍经模型客户端调用火山方舟等 OpenAI 兼容服务;数据处理遵循 OpenTelemetry GenAI 语义约定,把原始调用转换为 Session/Trace/Span 的统一 Trace 模型(Agent Span 一次业务请求、Model Span 一次模型调用、Tool Span 一次工具执行),经 OTLP/HTTP 上报 TLS Trace Topic 持久化存储;展示层由独立的 LLM Observer SDK Dashboard Model 驱动 AgentLoop 页面,SessionTableV2 按 session.id 聚合多轮 Trace 展示首次 Input、Trace 数量、总 Token、使用模型与累计耗时,TraceTableV2 按单次请求展示 Input、状态、输入输出 Token、总 Token 与耗时并支持按状态、时延、Token 区间筛选,Trace 详情按父子关系还原 Agent/Model/Tool Span 以及工具选择、参数、执行结果与各阶段耗时。SDK 覆盖单轮对话、多轮对话(同一 session.id 下每轮独立 Trace)、流式响应、工具调用、异常链路五类场景,并以 TLS_TRACE_CAPTURE_CONTENT 控制是否采集输入输出正文,关闭后 Token、耗时、状态等观测信息仍保留。