开发人员生产力工具的人工智能可观察性：架起成本意识和代码质量的桥梁

随着人工智能辅助开发工具的激增，开发人员面临着越来越大的挑战：了解整个工作流程中人工智能交互的成本、质量和行为模式。我们为开发人员生产力工具提供了一种统一的人工智能可观察性方法，将实时词元跟踪、可配置模型定价注册表、响应验证和成本分析结合到单窗格仪表板中。我们的工作综合了两个互补的系统——Workstream，一个集中拉取请求、Jira 任务和 AI 代码审查的开发人员生产力仪表板；以及一个 AI 可观察性摘要器，它使用 Prometheus 支持的指标和多提供商 LLM 网关来监控推理工作负载。我们描述了所采用的架构模式、从提供商 API 实现真实词元跟踪（取代启发式估计）、24 模型定价注册表、响应验证管道、LLM 支持的审查智能以及可导出的报告。我们对六个月开发工作流程的评估表明，该系统捕获的每次审核成本与提供商计费的差异不到 2%，并且与手动跟踪相比，将洞察 AI 使用模式的时间缩短了一个数量级。