论文

同样的问题,不同的答案?衡量和减轻公平人工智能访问的即时特权

Same Question, Different Answer? Measuring and Mitigating Prompt Privilege for Equitable AI Access

上下文与知识上下文工程

摘要

大语言模型 (LLM) 越来越多地融入医疗保健、教育、公共服务和日常决策中。无论用户的文化水平、沟通方式或即时工程专业知识如何,他们都应该提供类似的帮助。然而,现有的提示鲁棒性研究主要集中在对抗性攻击、提示注入和提示优化,而忽略了语义等效的请求是否仅仅因为措辞不同而收到不同的响应。我们将这种可访问性挑战称为“提示特权”:尽管表达了相同的潜在意图,但具有更强提示专业知识的用户系统地获得了更好的模型性能。为了解决这个问题,我们提出了一个统一的框架,用于测量和减轻 LLM 交互中的可访问性差异。我们引入了 Prompt Equity Score (PES)(一种用于评估跨用户群体的性能一致性的量化指标)和 Prompt Equity Transformer (PET)(一种基于 LLM 的代理),可自动将用户请求转换为语义等效、面向可访问性的提示,同时保留其意图。 PET 将即时优化从用户转移到人工智能系统,充当用户和基础模型之间的智能可访问层。 MedQA 基准的实验证明了可测量的提示特权,在低识字率和专家提示队列之间存在统计上显着的性能差异。应用 PET 消除了这些差异,同时保留了语义保真度,这表明面向可访问性的提示标准化可以改善公平的人工智能访问。通过引入即时特权作为人工智能可访问性的新维度,并将 PET 作为实用解决方案,这项工作推进了以系统为中心的可访问性,并为更公平、值得信赖和包容的人工智能系统奠定了基础。