以黑盒在线调优提升LLM性能：把系统规格纳入可信AI事实表的主张

本文提出一种新颖的黑盒在线控制器：仅使用短时段上的端到端测量、无需内部插桩，并以爬山法最大化有效吞吐（goodput，即满足服务级目标的请求吞吐）。我们为该设计的合理性提供实证证据。以LLM服务的这一进展为具体示例，我们进而讨论把系统性能与可持续性指标整合进事实表（Factsheets）对采用AI系统的组织的重要性。