论文
语言模型可以分析数据吗？评估 大语言模型 在数据集上的问答功能
Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
摘要
本文研究了 大语言模型 (LLM) 在回答数据集问题方面的有效性。我们在两种情况下检查它们的性能：(a) 直接回答给定数据集文件作为输入的问题，以及 (b) 生成 SQL 查询以回答给定关系数据库模式的问题。我们还评估了不同的提示策略对模型性能的影响。该研究包括最先进的 LLM 和较小的语言模型，这些模型需要较少的资源并以较低的计算和财务成本运行。在包含不同难度问题的两个数据集上进行实验。结果证明了大型 LLM 的强大性能，同时凸显了更小、更具成本效益的模型的局限性。这些发现有助于更好地理解如何在数据分析任务中利用 LLM 及其相关限制。