GUI智能体：用户敏感屏幕的引导式探索

LLM智能体日益被用于在开放GUI环境中为用户自动化任务。它们不可避免地遇到包含用户敏感信息的屏幕——此时由用户接管任务执行是高度可取甚至必要的。SOTA LLM驱动的智能体通常经微调以不考虑动作安全影响地完成任务。这使其真实部署困难并不利影响可靠性。因此——识别与分类用户敏感状态并定义用户敏感查询至关重要。该数据集将供工程师识别关键场景并向用户请求交接。本短文开发一个探索者智能体——从单个示范任务出发系统探索查询空间——识别若被执行将导致GUI环境中用户敏感状态的查询。