论文
SkillSelect-Serve:针对 LLM 座席的 QoS 感知预算技能服务建议
SkillSelect-Serve: QoS-Aware Budgeted Skill Service Recommendation for LLM Agents
摘要
可重用代理技能正在成为 大语言模型 (LLM) 代理的面向服务的能力层。与普通的检索项目不同,技能公开了功能能力、输入输出假设、工具依赖性、上下文成本和风险元数据。对于小型 LLM 代理来说,选择技能尤其具有挑战性,因为它们在受限的上下文、工具可用性和风险承受能力下只能加载少数功能单元。现有的固定 Top-k 方法根据文本相关性对技能进行排名,而忽略了需求满意度、可交付性和操作限制。我们提出了 SkillSelect-Serve,一个 QoS 感知、预算受限的技能服务推荐框架。原始技能被描述为结构化技能服务,任务被转换为结构化需求对象,从大规模注册表中发现的候选者由经过校准的任务条件适用性估计器进行排名,并通过强制词元预算、聚合风险和工具可用性约束的约束投影进行打包,仅使用部署可观察的功能。在由两名独立评估员验证的 35,353 项技能的登记册中,汇总了多重积极相关性判断,无约束的前 5 名推荐仅适合 9.1% 的任务,适合现实的 4,000 个词元上下文;受限预测以仅 1.14 个点的命中率为代价恢复了 100% 的交付能力,优于相同预算下的检索和重新排序、预算截断和基于多样性的选择。同样的机制将风险暴露减半,并消除了与工具无关的建议中 44-81% 的工具违规率。在相同的三项服务预算下,与固定的 Top-3 检索相比,命中率从 0.8864 提高到 0.9091。结果支持将可重用代理技能管理为可发现、可比较和约束感知的服务单元,而不是简单的可检索文档。