论文

LLM 了解您的邻居吗?审核 LLM 先验以进行邻里级别的移动性预测和结构对齐

Do LLMs Know Your Neighborhood? Auditing LLM Priors for Neighborhood-Level Mobility Prediction and Structural Alignment

模型评测鲁棒性、公平性与可信度评测

摘要

人员流动对于城市规划、交通、公共卫生和应急响应至关重要,但细粒度的轨迹数据通常是专有的、受限的且对隐私敏感的。 大语言模型 (LLM) 通过生成合理的移动轨迹和预测个人移动提供了一种潜在的替代方案,但它们推断总体社区级别移动的能力仍不清楚。我们使用匿名 Cuebiq 数据评估零样本 LLM 对美国四个大都市区人口普查区块组级别的流动性预测,以构建点级、轨迹级和时间流动性结果,并与社会人口统计和建筑环境预测因子配对。我们将 LLM 预测与监督基线进行比较,并引入方向对齐分析来测试 LLM 隐含预测效应是否与经验 OLS 和 Jonckheere-Terpstra 趋势一致。监督模型的平均准确度为 0.580,而最佳 LLM 的平均准确度为 0.435,空间范围结果显示出最强的可预测性,但 LLM 基线差距也最大。定向分析表明,LLM 通常依赖于粗略、稳定的预测因子水平先验,这些先验因子在结果和城市之间保持相似,包括对受保护群体预测因子的不对称处理。总体而言,LLM 可以部分地从城市环境中恢复总体流动模式,但如果不审核经验一致性和潜在偏差,他们的预测不应被视为具有结构基础。