论文
科学知识驱动的解码约束提高LLM的可靠性
Scientific Knowledge-driven Decoding Constraints Improving the Reliability of LLMs
摘要
大语言模型(LLM)表现出了强大的知识储备和任务解决能力,但仍然面临严重幻觉的挑战,阻碍了其实际应用。尽管科学的理论和规则可以有效地指导人类机械手的行为,但LLM仍然没有通过训练或提示充分利用这些高度浓缩的知识。为了解决这个问题,我们提出了 \textbf{SciDC},一种 LLM 生成方法,它将特定于主题的知识与强约束相结合。通过采用强大的LLM将灵活的知识自动转换为多层标准化规则,我们构建了一个可扩展的框架来有效约束领域任务的模型生成。包括工业配方设计、临床肿瘤诊断和逆合成规划在内的科学任务实验一致证明了我们方法的有效性,与普通生成相比,平均准确度提高了 12%。我们进一步讨论了 LLM 在自动归纳总结高度浓缩的知识方面的潜力,展望了加速整个科学研究过程的实用解决方案。本文所有代码均可获取(https://github.com/Maotian-Ma/SciDC)。