论文
经验丰富:自我进化 LLM 药物,用于循证健康社区笔记
Better with Experience: Self-Evolving LLM Agents for Evidence-Grounded Health Community Notes
摘要
大语言模型 (LLM) 增强版社区注释提供了一条可扩展的路径,可以及时、以证据为基础纠正社交平台上的健康错误信息。然而,他们仍然会在每个帖子中重置,从而留下未使用的先前案例中有用的纠正经验。我们引入了 EvoNote,这是一个代理框架,使健康社区笔记的生成能够通过先前错误信息纠正事件的不断发展的经验记忆进行自我进化。其核心是细粒度的贡献分配:EvoNote 将轨迹级反馈基于健康特定的笔记质量,并将其提炼为行动级记忆,用于索赔分析、证据获取和笔记书写。我们在 MM-HealthCN 上评估 EvoNote,MM-HealthCN 是一个 1.2K 实例的多模式基准,包含用户标记的健康帖子,以及人工编写的社区注释和人群衍生的帮助标签。根据经过人类验证的分层效用判断,在 89.6% 的情况下,EvoNote 生成的笔记优于相应的人类编写的笔记;在一组单独的“需要更多评级”帖子中,没有进行群体有用性判断,EvoNote 为 82.0% 的案例生成了有用的注释。它还将生成候选修正所需的中位时间从人工注释管道中超过 13 个小时减少到不到 2 分钟。分析将这些成果与更强大的证据使用和可重复使用的纠正策略联系起来,将自我进化的笔记生成定位为健康错误信息治理的有前途的范例。