论文
超越单一策略：评估 LLM 聊天机器人中组合特定组织的策略一致性
Beyond Single-Policy: Evaluating Composed Organization-Specific Policy Alignment in LLM Chatbots
摘要
大语言模型 聊天机器人越来越多地部署在医疗保健、金融和公共服务等组织环境中。因此，评估策略一致性对于可靠的聊天机器人部署至关重要。通过分析现实世界的用户查询，我们发现组合策略违规在各种聊天机器人中普遍存在，但被现有基准所忽视。本文介绍了 COPAL，一种用于评估聊天机器人中组合策略一致性的自动化工具。 COPAL 有效地生成查询，通过经验得出的交互模式和显式处理合约触发聊天机器人中的组合策略失败。 COPAL 生成的查询暴露了严重的查询处理失败：在 9 个服务模型中，组合策略查询平均产生 33.1% 的错误率，表明组合策略对齐值得进一步调查。