小聪明，大成就：探索紧凑语言模型

虽然 大语言模型 最近在研究领域占据主导地位，但小语言模型在各个领域仍然高度相关；然而，他们受到的关注要少得多。在本研究中，我们研究了较小的语言模型在检索增强生成（RAG）系统中的生成阶段如何执行。为了有效地对这些模型进行基准测试，我们利用了涵盖不同主题领域和问题类型的开源和专有数据集。我们的研究结果表明，具有小型语言模型的 RAG 系统可以在合理的时间内直接在设备上执行，而不需要任何 GPU 硬件。实验代码和补充材料的链接可以通过 GitHub 存储库访问：https://github.com/SibNN/SLM-RAG-EVAL。