llama.cpp让MoE缓存未命中的专家在CPU执行并提供自动调参

llama.cpp的MoE缓存用于让专家权重留在主机内存、把高频部分缓存到GPU。本次主线交付允许通过--moe-cache-cpu-share控制CPU分担，让部分缓存未命中的专家在CPU计算，降低每次都上传专家的需求。scripts/moe-cache-tune.py可放在llama-server命令前，进行若干校准运行，比较缓存容量、CPU分担比例、命中率和生成速度，再输出本机建议。作者示例在同一台机器上显示小缓存时CPU分担有益，而较大缓存下并不总是越高越好；这些是指定配置的作者测量。同日#31888调整CPU部分对缓存专家的等待，作为同一机制完善合并。该功能仍需要主机容纳专家和支持MoE缓存的GPU后端，不能解读为任意模型都可完全脱离内存限制。