论文
大型数据库需要小型开放权重语言模型
Large Databases Need Small, Open-Weight Language Models
摘要
围绕专有 API 构建的语言模型系统通常在基于令牌的成本模型上运行。在大型数据库的环境中，这变得极其昂贵，其中一组实验的 LM 增强型关系运算符可能会产生超过 10,000 美元的成本，从而阻碍了深入的研究和实际部署。在本文中，我们证明了在仅 16GB VRAM 上本地运行的量化开放权重模型可以以较低的延迟和一小部分的价格匹配或超过闭源模型的准确性，挑战了闭源 LM API 对于有效的 LM 数据库集成所必需的普遍假设。我们提出并分析了在 LM-DB 系统中有效部署这些开放权重模型所需的关键系统优化。通过将这些本地模型集成到 BlendSQL v0.1.0 框架中，我们证明与专有的 LM API 相比，总体成本降低了 390 倍，延迟降低了 3.8 倍。我们在 https://github.com/CapitalOne-Research/play-by-the-type-rules/tree/main/sembench 提供代码。