TACIT：探测 LLM 隐状态中的工具能力要求

可靠的工具使用需要的不仅仅是触发机制或将查询与 API 描述相匹配。在选择特定工具之前，智能体必须首先推断用户查询隐含的功能要求。在本文中，我们研究了这些查询端能力要求是否可以在生成之前从 LLM 隐藏表示中线性解码，以及这种隐藏状态可访问性与显式语言分类的比较如何。我们引入 TACIT，这是一个框架，它沿着三个基本轴分解外部需求：源、转换和世界效应，定义八个结构不同的能力类别。使用来自基准、综合示例和新领域场景的 1,600 个平衡训练查询，我们在来自四个 开放权重 LLM 系列的预生成隐藏状态上训练线性 探针。我们的实证结果表明，细粒度的能力结构在所有模型中都可以高精度地线性解码。然而，至关重要的是，我们暴露了表示到语言化之间的差距：当要求用自然语言对相同的查询进行显式分类时，这些相同的模型的可靠性明显降低。这种脱节表明有关所需外部功能的信息可以在 LLM 隐藏表示中线性访问，但不能可靠地表达，我们将这种现象定义为“结构化但无声”。