论文

RAIL:人工智能就绪度等级的自动分类器

RAIL: An Automatic Classifier of the Artificial Intelligence Readiness Level

智能体系统Agent 协作

摘要

评估人工智能技术的成熟度对投资决策、项目管理和政策监测至关重要,然而现有的就绪度框架彼此异构且难以自动化应用:面向AI的技术就绪度(Technology Readiness Levels)改造缺乏AI专属的准入门控标准,机器学习技术就绪度等级(Machine Learning Technology Readiness Levels)预设能够获取内部过程产物,而AI/数据就绪度维度模型所采用的量表难以直接比较。本文做出两项贡献。首先,我们将这三个框架统一为统一人工智能就绪度等级(Unified AI Readiness Level,AIRL),这是一个九级顺序量表,建立在环境证据阶梯之上,并由维度上限(涵盖规格说明、数据存在性、数据质量、数据合法性、专家知识与算法成熟度)以及通用性锚定规则和明确的赋级纪律加以补充,使得仅凭对工作的自然语言描述即可判定就绪度等级。其次,我们提出RAIL(Readiness Assessment via Independent LLM-experts,经由独立大语言模型专家的就绪度评估),一个将该量表操作化的专家小组分类器:一名证据智能体和六名彼此独立的维度智能体(每个都是职责范围狭窄的大语言模型)给出裁定,由确定性的最小值规则聚合,再由首席专家在非对称权限下复核——只能确认或下调小组建议,绝不能将其提升到上限之上。该方法在多项研究工作的分析中进行了测试,显示出一致性,并避免了单体式大语言模型分类器造成的高估。