开源项目
vLLM将后分块嵌入接入在线API,返回可追溯的原文范围
Serve late chunking through /v1/embeddings
概述
vLLM本次将已有离线后分块能力接入在线/v1/embeddings。服务以token_embed运行,接收纯文本及分块长度,先在模型上下文内编码完整输入,再按token边界汇聚为多个向量;每个向量带token范围和原文字符范围,可用于检索索引与命中片段展示。批量输入共享分块长度,未设置后分块时仍返回普通token向量。项目同时提供文档入库、问题编码、余弦排序和原文展示的在线示例。源码Apache-2.0,功能要求可对齐来源偏移的快速分词器,不支持截断、padding及部分特殊模型输出。返回矩阵和额外范围字段属于vLLM扩展,普通OpenAI嵌入客户端未必直接兼容;该方式不扩展模型上下文或减少注意力计算。