论文

带有批判细化的代理角色生成:工业评估

Agentic Persona Generation with Critique-Refinement: An Industrial Evaluation

智能体系统Agent 协作

摘要

角色广泛应用于软件工程中以支持需求获取、设计和验证,但其手动创建成本高昂、耗时且难以扩展。最近基于 LLM 的方法自动从文本数据生成角色;然而,它们通常依赖于单次生成和主观评估,限制了实际可靠性。我们推出 PerGent,这是一种围绕迭代批评-细化循环构建的行业级角色生成方法。具体来说,PerGent 使用生成器和评审大语言模型智能体,在协调器的协调下,通过具有用户定义的最大轮数的评论-细化循环,使用面试、调查和职位发布等外部资源来迭代地细化角色。我们在 Kinaxis 的工业环境中部署和评估 PerGent,并将其与三个基线(包括一次性方法)进行比较。在专家现场评估中,PerGent 获得了最高的专家认可率(96.9%),超过了所有基线。我们进一步将 PerGent 生成的角色与在采用 LLM 之前由领域专家手动创建的最佳实践角色进行比较。与基线相比,PerGent 再现了更大比例的专家内容,同时还提供了超出 LLM 之前的角色的大量新内容。最后,我们总结了在 Kinaxis 部署和评估 PerGent 的经验教训。