开源项目
vLLM Semantic Router在路由前检查工具结果中的PII
Route safely on PII detected in tool results
概述
vLLM Semantic Router新增可选择的工具结果PII扫描,在下一次模型路由决定前,分别从OpenAI Chat、Responses和Anthropic Messages请求中提取工具返回的文本。规则设置source: tool_result才启用该来源,省略来源仍按原提示/历史规则处理,两条来源不会互相借用扫描完成状态。相同文本去重,共享检测结果;单请求最多进行1024次块级检测推理,并逐块处理,防止大量或超长工具结果无限扩大工作。 不支持、非文本、畸形或预算耗尽的剩余内容标记pii_evaluation_incomplete,已发现的正例保留,推理失败与未检查内容分别表示,on_unknown可据此选择封闭失败。Replay不保存工具结果原始请求体、提示或步骤载荷,仅留受限的调用ID、来源、完成状态和脱敏标记。配置在Go、CLI、Dashboard及DSL往返中显式保留。功能已公开合入Apache-2.0主分支,非稳定版发布日期;它不执行工具、不重写送给模型的PII,也不检查路由后的响应,实际拦截仍取决于使用者的规则。