论文

使用 大语言模型 进行舆情数据插补的情境学习

In-Context Learning for the Imputation of Public Opinion Data with Large Language Models

上下文与知识上下文工程

摘要

大语言模型 作为个人调查响应的模拟器已被广泛评估。然而,在实践中,完全未被观察到的反应是罕见的。主要问题是部分无反应。插补旨在通过填充这些缺失值来恢复调查数据集的整体结构。它有自己明确的评估标准,与预测有根本不同。我们建议通过情境学习(ICL)来估算缺失的调查数据。我们系统地评估了跨不同缺失机制(MCAR、MAR、MNAR)的 ICL 设计选择,涉及美国趋势小组 15 波的 150 个意见变量。与 MICE PMM 等成熟的数据插补统计方法相比,我们的 ICL 方法始终如一地减少了所有缺失机制的绝对误差,在非随机缺失 (MNAR) 下收益最大。值得注意的是,性能最佳的规范(带有 100 个上下文示例的 gpt-oss-120b)实现了接近标称的聚合覆盖率(接近 95% 的水平),置信区间比 MICE PMM 窄两到五倍。我们发布了一个带有类似 sklearn 的 API 的 Python 包,以便使用本地和专有的 LLM 轻松部署我们的方法。