相关性还不够：面向通信的科学问答检索系统

人工智能系统越来越多地回答有关健康、安全和环境的科学问题。但大多数检索增强生成系统都经过调整，以提供事实正确、切题的答案，而不是帮助非专家理解这些答案对他们的生活和决策意味着什么。我们重点关注其结果直接影响人们生活的重大科学问题，并通过公共水质通信系统对其进行研究，居民和社区领导人在其中解释研究结果并选择行动。他们的经验表明，如果没有解释和背景，切中主题的答案仍然是不够的，而且风险信息的情感分量也不容忽视。我们的系统首先按推理类型（例如，因果与基于政策）对每个问题进行分类，然后生成后续问题以识别缺失的证据并检索它。一个组件清楚地区分已知的内容和不确定的内容，而另一个组件将科学细节重写为易于理解的语言，使用基于角色的风格（例如有爱心的邻居或行政官员）来调整语气和可读性。对超过 $160$ 问题的消融表明，系统使用 $\textit{上下文少一个数量级}$，并且在多种配置中提高了人工评价的完整性。与社区成员和经过微调的学习法官共同设计的完整性指标显示，标准相关性分数可以解释人类完整性评级中大约 $1\%$ 的变化，甚至经过调整的法官也只能与人类适度一致，这表明完整性是一个独特的以人为中心的目标，当前指标无法可靠地捕获。