智能体可以从交互中推断环境吗？来自代理自动机学习的证据

我们提出代理自动机学习来评估工具调用 LLM 代理可以通过交互发现隐藏环境的程度，代理任务中越来越需要这种能力（例如，通过与其交互来复制可执行文件而无需访问其源代码）。在我们的设置中，代理应该通过 (1) 成员资格查询（“这个字符串属于目标语言吗？”）和 (2) 等价查询（“这是目标 DFA 吗？”）与预言机交互来发现隐藏的确定性有限自动机 (DFA)。代理自动机学习产生了一个可扩展的测试平台，具有受控的任务复杂性、可测量的交互效率以及可与经典自动机学习文献进行比较的强大算法。使用多轮代理支架评估最先进的 LLM，我们发现虽然它们能够恢复简单的 DFA，但随着 DFA 大小的增加，它们的性能急剧下降。使用更复杂的 ReAct 式状态跟踪支架可以改善结果，但强大的模型仍然难以应对复杂的实例。轨迹分析揭示了查询规划、证据集成和假设构建中反复出现的失败。即使模型在推理中提到了经典的自动机学习算法，并且在获得编码环境的访问权限时可以实现和执行这些算法，也会发生这些故障。我们的结果表明，对于最先进的 LLM，确定问题的解决方案是不够的，可靠地执行最终的计划仍然构成了明显的挑战。