论文
ReLay:个性化 LLM 生成的简单语言摘要以更好地理解,但代价是什么?
ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost?
摘要
简明语言摘要 (PLS) 旨在让非专业读者能够理解研究成果,但它们通常采用一刀切的风格编写,忽略了读者信息需求和理解方面的差异。在健康领域,这种限制尤其重要,因为误解科学信息可能会影响现实世界的决策。 大语言模型 (LLM) 为个性化 PLS 提供了新的机会,但目前尚不清楚个性化是否有帮助、哪些策略最有效以及如何平衡个性化与安全性。我们引入了 ReLay,这是一个包含 300 个参与者的数据集——来自 50 个非专业参与者的 PLS 对,采用静态(专家编写)和交互式(LLM 个性化)设置。 ReLay 包括用户特征、健康信息需求、信息查找行为、理解结果、交互日志和质量评级。我们使用 ReLay 评估两种个性化方法中的五个 LLM。个性化可以提高理解力和感知质量,但也增加了强化用户偏见和引入幻觉的风险,揭示了个性化和安全之间的权衡。这些发现强调了对不同的非专业受众既有效又值得信赖的个性化方法的需求。