论文

汹涌的浪潮与汹涌的浪潮:数千名工人对劳动力市场任务的评估对人工智能自动化的初步发现

Crashing Waves vs. Rising Tides: Preliminary Findings on AI Automation from Thousands of Worker Evaluations of Labor Market Tasks

模型评测模型能力评测

摘要

我们认为人工智能自动化是以下两个方面的连续体:(i)人工智能能力在小规模任务上突然激增的冲击波,以及(ii)人工智能能力的增长更加持续和广泛的浪潮。我们对来自美国劳工部 O*NET 分类的 3,000 多个基于广泛的任务的人工智能能力进行持续评估,通过初步证据来测试这些影响,这些任务是基于文本的,因此是大语言模型可寻址的。根据这些工作岗位工人的 17,000 多项评估,我们几乎没有发现海浪的证据(与 METR 最近的工作相反),但有大量证据表明,上涨的潮汐是人工智能自动化的主要形式。人工智能的性能很高,并且在各种任务中都在快速提高。我们估计,到 2024 年第二季度,人工智能模型会成功完成人类大约需要 3-4 小时的任务,成功率约为 50%,到 2025 年第三季度,成功率将增加到 65% 左右。如果最近人工智能能力增长的趋势持续下去,这种人工智能改进的速度意味着大语言模型将能够在 2029 年以最低质量水平完成大多数与文本相关的任务,平均成功率达到 80%-95%。要在这种质量水平上实现近乎完美的成功率,或者在卓越质量下实现类似的成功率,还需要几年的时间。随着组织采用人工智能,这些人工智能能力的改进将影响经济和劳动力市场,而这可能需要更长的时间。

汹涌的浪潮与汹涌的浪潮:数千名工人对劳动力市场任务的评估对人工智能自动化的初步发现
图 3:任务持续时间直方图