论文

GRAIL:面向科学家的卫星数据应用工作流AI翻译

GRAIL: AI translation for scientists application workflow on satellite data

应用与实践科学研究

摘要

领域科学家日益编写Python脚本来分析卫星影像,但这些脚本缺乏向大规模数据的可扩展性。本文展示GRAIL,一个智能体翻译系统,能将Python地理空间工作流转换为可执行的基于Spark的程序,而无需科学家学习新框架。GRAIL不微调专门的LLM模型,而是改造RDPro——一个用于卫星数据分析的Scala库——利用结构化文档、API别名函数与面向修复的错误日志使其对LLM友好。翻译被组织为LangGraph流水线,将代码生成分解为带引导输入输出的显式段落,实现针对性修复而无需重新生成完整程序。我们在真实地理空间工作流上演示GRAIL,展示翻译后代码的正确性与可扩展性。

GRAIL:面向科学家的卫星数据应用工作流AI翻译:论文配图
图 1.GRAIL 翻译系统概述。标题为“GRAIL 翻译系统概述”的流程图。左侧的输入是数据集和 Python 脚本。主管道有四个步骤:(1) 数据采样,(2) 分析任务类型和操作,(3) 从 README 中选择 API,(4) 逐段代码生成。 “LLM-ready RDPro README”可用于 API 选择,而“scaffold Scala 模板”则支持代码生成。然后生成的 Scala 代码被发送到步骤 (5) 编译和运行,其中包括别名函数以及 Raptor、Spark 和 Java/JAR 环境。编译会生成详细的错误日志,这些日志通过修复循环反馈到代码生成中。成功执行会产生步骤 (6) 结果输出,显示为 GeoTIFF 和 CSV。箭头表示端到端工作流程和迭代调试循环。