论文

让智能体来做吗?软件从业者如何理解Agentic AI助手并做出权限决策

Let the Agent Do It? How Software Practitioners Understand and Make Permission Decisions in Agentic AI Assistants

智能体系统Agent 动作执行与治理

摘要

Agentic AI 助手越来越多地代表开发人员修改文件、执行命令和访问外部资源。这些行为通常需要许可,但人们对从业者如何做出许可决策同时仍受益于智能体自主权的情况知之甚少。为了解决这一差距,我们进行了一项序贯混合方法研究,采访了 18 名使用 AI 智能体的从业者,然后根据采访结果对 115 名从业者进行了调查。我们发现,从业者通常通过他们可以直接观察和回顾的内容来理解智能体行为,而幕后的决策、数据使用和其他活动仍然不太清楚。这种不确定性也会影响许可决策,这取决于操作的范围和风险、是否适合任务、对智能体的熟悉程度以及操作的环境。从业者通过调整他们监督智能体的密切程度来做出回应,从提前设置限制到监控执行情况和事后审查工作。他们进行多少审查取决于信任、任务重要性、时间压力和行动后果等因素。我们的研究结果表明,权限系统应该使后续操作更容易审查,区分智能体被允许执行的操作与用户意图执行的操作,使可逆性更加清晰,避免将重复批准视为稳定的偏好,并将拒绝单个操作与拒绝整个方法区分开来。