开源项目
Ray 2.58.0:完善KV缓存感知路由,扩展数据处理与隔离执行
ray-project/ray
概述
Ray为分布式计算、数据处理、模型训练和在线服务提供统一框架。2.58.0完善Ray Serve LLM的KV缓存与token感知路由:入口副本内完成分词和路由判断,token另行传递,避免推理引擎再次分词,并将CPU卸载缓存计入缓存命中。Ray Data新增带Catalog支持的Delta Lake写入和shuffle v2后端,用于连接与聚合等操作。Ray Core提供可选的任务事件卸载机制,将事件摄取与服务移出GCS热路径。版本还引入实验性Ray Sandbox,使用gVisor运行任务和actor代码,并扩展TPU训练与调度支持。平台团队可按数据、服务和运行时模块分别评估升级;沙箱功能仍为实验性。