论文
LifePlanner：用社交媒体数据评估LLM智能体的地理空间规划
LifePlanner: Evaluating LLM Agents for Geo-spatial Planning with Social Media Data
摘要
地理空间规划（如行程设计）是LLM智能体的现实试验场，因为它要求有根据的工具使用、嘈杂的证据检索和多约束推理。然而，大多数基准只提供干净的地理空间数据和工具，缺少人们日常规划所使用的开放式社交信号。我们提出LifePlanner，一个用大规模本地社交媒体帖子丰富地图数据的基准，并通过MCP工具集提供访问。LifePlanner提供覆盖四类任务和三个难度级别的评估套件。实验显示，前沿LLM在简单检索上表现良好，但在复杂规划上急剧退化，通过率降至40.2%。结果表明，失败主要源于从如此大规模多模态数据库中证据获取不完整、工具使用不精确以及约束整合薄弱，而非模型规模或推理长度，这提示未来的进展需要有效的接地规划而非单纯扩大规模。
