ToolRec：设备上助手中查询推荐的校准偏好对齐

大语言模型 (LLM) 具有显着先进的生成查询推荐。然而，虽然对齐对于根据人类偏好定制 LLM 至关重要，但现有的对齐方法主要关注标准聊天机器人场景，在用户主要期望快速调用系统级工具的设备上智能助手方面存在不足。此外，由于不同的用户活动级别以及未能强调面向执行的查询，直接将 LLM 与现实世界的点击日志对齐会引入严重的噪音。为了应对这些挑战，我们提出了 ToolRec，这是一个专为设备上查询推荐而定制的校准偏好对齐框架。为了使用可执行工具进行查询推荐，我们首先构建了 SysToolKit，这是一个包含 708 个系统工具的综合存储库，并配有上下文感知工具检索机制，以确保提取的工具与用户的意图紧密匹配。然后提出了一种双级校准机制来细化原始点击数据，通过基于用户活动（用户级）校准信号来有效减轻用户行为噪声，同时增加工具调用查询上的点击信号权重（系统级）。在这些精炼的偏好信号的指导下，我们使用样本级加权卡尼曼-特沃斯基优化 (KTO) 来调整模型。在我们的移动助手平台 OPPO 小布（每月活跃用户超过 1.5 亿）上进行的广泛在线 A/B 测试表明，ToolRec 可以在强基线上显着提高点击率 (CTR) 和总点击量，同时保持较高的查询相关性。