论文

实际场景中的Agentic编程:分析生产规模的GitHub Copilot轨迹

Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale

AI 基础设施上下文与知识上下文工程推理服务

摘要

AI编程代理如GitHub Copilot、Claude Code和Codex将多步LLM推理与工具执行相结合,形成不同于聊天机器人的工作负载。我们使用从2026年6月采样的GitHub Copilot轨迹,对这种工作负载进行首次大规模生产性刻画,涵盖320万用户、1300万个会话、7.61亿次LLM调用和95万亿个词元。我们的分析揭示了工作负载的独特属性,对重要系统有重要影响。例如,Agentic编程会话由用户主动发起的稀疏环节组成,每个环节通常形成一个由LLM调用和工具执行相结合的自主代理循环。这种结构导致KV缓存命中率在每个环节平均为90%,但在转界处降至55%,且在模型切换或上下文压缩等事件后大量失效。我们观察到多样化的工作流程和用户行为,时间跨度、词元消耗和工具调用呈长尾分布。我们强调了快速Agentic任务周转时间和用户在转界处的分钟级空闲时间之间的差异,并设计了一个轻量级空闲时间预测器,能够捕捉到总空闲时间的86-90%,从而支持高效的资源调度决策。这些发现挑战了当前LLM服务系统的假设,并为代理原生基础设施提供了一个实证基础。