论文
TRACE:面向企业LLM中知识保持参数化工具检索的业务规则锚定推理课程
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
摘要
参数化检索使LLM能够隐式检索工具:为每个API分配唯一的虚拟token,并训练模型通过约束束搜索生成它。Toolsense表明该机制有两个关键缺陷:训练时会破坏参数化的工具知识,且其束搜索解码太慢,无法满足实时部署。我们提出TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules),一个解决这一割裂的两阶段课程。第一阶段复用ToolSense的多格式记忆SFT,用LoRA播下工具知识。第二阶段是我们的核心贡献:训练模型在生成工具token的JSON列表之前先输出思考轨迹,使用两个数据来源——来自ToolSense的RRB对,以及为覆盖领域专家整理的业务规则而合成的查询——两者都以推理轨迹增强。该训练目标在保持第一阶段MCQ与QA探测准确率的同时,使单束贪婪解码达到生产级延迟。在覆盖两条企业产品线、共8300多个工具的合并企业目录上评估,第二阶段的TRACE训练不仅保持还提升了工具理解能力:MCQ准确率较第一阶段提升3.2个百分点,QA探测提升9个百分点。在检索方面,TRACE在Domain A上取得约86%召回率、在Domain B上约60%——嵌入基线分别约为27%与52%——且均采用单束贪婪解码,可直接以生产级延迟部署。
