论文

Geo-Strat-RL:从可验证的任务中学习地质事件推理

Geo-Strat-RL: Learning Geological Event Reasoning from Verifiable Tasks

模型训练强化学习

摘要

为了评估视觉语言模型是否可以推理地质历史,有必要构建已知基础过程历史的观测结果。此外,对地质历史的推理不仅仅是识别视觉模式的问题,而且是理解可能只是间接可见或高度模糊的时间和结构关系的问题。当 真值 事件历史无法唯一识别或不可用时,教授具有视觉推理能力的模型以生成与观察到的证据和地质原理一致的有效地质重建仍然是一个公开的挑战。因此,我们研究定义可验证的地质推理任务是否可以通过具有可验​​证奖励的强化学习(RLVR)来改善跨观察域的地质事件重建。为此,我们提出了 Geo-Strat-RL,这是一个生成地层观测结果和紧凑的可见证据事件历史的合成环境。该环境将地质生成器与可执行验证器相结合,对年代、事件身份、沉积和结构关系进行评分。我们证明 RLVR 改善了视觉语言模型 (VLM) 中的地质重建,提高了地层图上的地质内容分数。我们通过将生成的场景转换为声阻抗导出的振幅部分,进一步评估合成地震观测领域中相同的地质历史。在这种受控配对渲染器设置中,我们提供了证据,表明从地层图域 RLVR 训练中学习的地质推理可以转移到合成地震表示,而无需地震特定的训练示例,这支持了 RLVR 可以跨相关观测格式教授可重用地质推理概念的假设。