论文

Geo-Expert:通过参数高效微调迈向专家级地质推理

Geo-Expert: Towards Expert-Level Geological Reasoning via Parameter-Efficient Fine-Tuning

应用与实践科学研究

摘要

尽管应用于地质学的通用大语言模型(LLM)在推理地下结构与深时演化时经常产生幻觉,当前地球科学中的AI却主要聚焦地表遥感与GIS。为弥合这一差距,我们提出Geo-Expert,这是一系列参数高效的地质LLM,它们在经我们自研指令合成流水线处理、定制策划的高质量指令数据集上微调而成。我们使用低秩适应(LoRA)方法微调三个基础模型——Qwen3-8B、Qwen3-32B和Gemma-3-27B——以考察模型规模与架构的影响。我们在新颖的领域专用基准Geo-Eval上的广泛评估表明,一个领域对齐的8B模型在专业地质推理上可以超越开放权重的70B通用模型与专有的GPT-4o,而32B变体则接近前沿推理模型。优化后的8B模型还为部署提供了有竞争力的性价比。这项工作为科学LLM的普及化提供了可复现的配方,并为地质人工智能确立了基线。