增强 SLM 以实现射电天文学中的可持续代码优化

最近的大语言模型（LLM）可以生成和优化复杂的代码。我们研究了使用 LLM 来生成和优化大规模科学代码，重点关注射电天文学和可持续性。 LOFAR 望远镜目前正在升级，显着增加了观测到的天空区域，同时更快地处理更多数据。然而，这预计会使计算需求增加 40 倍。因此，这一升级关键取决于现有软件的严格性能优化和加速器的广泛采用。代码库非常庞大，这使得这是一项艰巨的任务。因此，我们研究并演示了一种人工智能驱动的方法，旨在帮助开发人员评估和优化他们的代码，包括移植到硬件加速器。 LOFAR 社区致力于可持续解决方案，并且需要在不增加能源预算的情况下实现这些改进。因此，我们需要优化现有代码或将它们移植到加速器，同时确保优化过程本身也是节能的。这带来了挑战，因为 LLM 是能源密集型的。因此，我们建议改用小语言模型 (SLM) 来限制环境影响。在本文中，我们展示了如何通过使用代理人工智能来增强 SLM。我们通过两种方式扩展 SLM 来提高代码生成质量和性能：首先是多重采样生成策略，其次是合并编译器反馈。我们证明，多重采样 SLM 可以使用更少的计算资源来匹配或超越更大的单代模型，并且将编译器输出反馈到 SLM 中可以在所有测试模型中实现一致的改进。我们的方法是通用的，还可以在代码生成管道中使用检索增强生成（RAG）以及静态和动态分析工具。