CoPA：以数据为依据的认知因素对个性化问答进行基准测试

虽然 LLM 在问答 (QA) 方面展现了巨大的潜力，但评估个性化仍然是一个关键瓶颈。现有的范式主要依赖于词汇级别的相似性或手动启发式，通常缺乏足够的数据驱动验证。我们通过挖掘社区-个人偏好差异（CIPD）来解决这个问题，其中个人选择凌驾于共识之上，提炼出六个关键的个性化因素作为评估维度。因此，我们推出了 CoPA，这是一个包含 1,985 个用户配置文件的基准，用于进行细粒度的因素级评估。通过量化模型输出与从交互模式推断出的特定于用户的认知偏好之间的一致性，CoPA 为评估个性化 QA 提供了比通用指标更全面、更具辨别力的标准。代码可在 https://github.com/bjzgcai/CoPA 获取。