论文

似真陷阱:将概率引擎用于确定性任务

The Plausibility Trap: Using Probabilistic Engines for Deterministic Tasks

模型评测模型能力评测

摘要

大语言模型(LLM)的普及正在推动一场用户便利性凌驾计算效率的范式转变。本文定义了似真陷阱(Plausibility Trap):拥有人工智能(AI)模型的个人把昂贵的概率引擎用于简单确定性任务——例如光学字符识别(OCR)或基础核查——从而造成显著资源浪费的现象。通过对 OCR 与事实核查的微基准与案例研究,我们量化了效率税——展示约 6.5 倍的延迟惩罚——以及算法谄媚的风险。为对抗这一点,我们提出工具选择工程与确定性-概率决策矩阵,一个帮助开发者判断何时使用生成式 AI、以及关键地何时避免使用它的框架。我们主张课程转向,强调真正的数字素养不仅在于知道如何使用生成式 AI,也在于知道何时不使用它。

似真陷阱:将概率引擎用于确定性任务
图4:用户让聊天机器人验证大数是奇数还是偶数的一个示例,这是当时一股病毒式传播潮流的一部分。