PICon：用于评估角色代理一致性的多轮询问框架

基于 大语言模型 (LLM) 的角色代理正迅速被采用作为跨不同领域的人类参与者的可扩展代理。然而，还没有系统的方法来验证角色代理的响应在整个交互过程中是否不存在矛盾和事实不准确。审讯方法论的一个原则提供了一个视角：无论捏造的身份多么复杂，系统的审讯都会暴露其矛盾。我们应用这一原则提出了 PICon，这是一种通过逻辑链式多轮提问来探测角色代理的评估框架。 PICon 从三个核心维度评估一致性：内部一致性（免于自相矛盾）、外部一致性（与现实世界事实的一致性）和重新测试一致性（重复下的稳定性）。通过评估 7 组角色代理和 63 名真实人类参与者，我们发现，即使是之前报告为高度一致的系统，也无法在所有三个维度上满足人类基线，从而揭示了链式提问下的矛盾和回避反应。这项工作为在信任角色代理作为人类参与者的替代品之前评估角色代理提供了概念基础和实用方法。我们在以下位置提供源代码和交互式演示：https://kaist-edlab.github.io/picon/