论文

分形盆地陷阱潜在推理

Fractal basins trap latent reasoning

模型评测模型行为与机制分析

摘要

推理使人工智能模型能够重新审视并纠正错误,从而在数学定理求解、软件工程和自主任务规划方面取得最新的前沿进展。推理模型被广泛观察到在较困难的任务上推理时间更长,但导致这些减速的一般机制尚不清楚。在这里,我们证明推理模型表现出瞬态混沌,这是困难任务的计算复杂性的物理结果。因此,我们表明,不同的主要推理模型是具有分形盆地的动态系统,在数独和迷宫求解、视觉谜题和数学逻辑等不同任务中,分形随着任务难度而增加。我们表明,由于推理在鞍点附近长时间陷入困境而出现短暂的混乱,我们表明这对应于基本问题的几乎正确的尝试解决方案。我们的结果表明,推理速度减慢是现代人工智能模型中问题难度的必然结果,并将推理痕迹建立为一种丰富的新型动力系统。