面向边缘-云LLM系统的函数调用碳感知路由

具备函数调用能力的大型语言模型（LLMs）已成为现代智能体AI系统的关键组件。然而，当前部署通常将推理任务路由至强大的云端模型，导致显著的能耗和碳排放。我们提出一种碳感知路由框架，通过在三级边缘-云架构中分发函数调用请求，结合异构硬件上的边缘和云端LLM。该框架核心是一个轻量级k-NN预测器，运行于统一的语义-词法嵌入空间中，可估计每个边缘层级对特定查询的准确率、延迟和功耗。这些预测结果结合实时电网碳强度，将每个查询路由至能够成功执行且碳排放最低的层级。在最先进的函数调用基准和LLM家族上进行评估，该框架在保持云端水平准确率的同时，平均降低了4倍的运营碳排放。