GRACE-DS：数据科学中受保护的奖励引导代理校正环境

我们引入了 GRACE-DS，这是数据科学中受保护的奖励引导的代理校正环境，用于对 LLM 支持的 AutoML 代理进行部署前评估。 GRACE-DS 是隔离环境中的一组评估指标，可应用于特定组织的表格 ML 任务。它将代理暴露在现实的工作流程阶段，从规划和数据检查到特征工程、模型开发、验证和代码修复，再到最终提交，而隐藏的可执行验证器不仅测量最终的预测性能，还测量泄漏避免、再现性、协议有效性、纠正行为和奖励调整。最强大的结构化机制，灵活的迭代交互（我们的方法），比单次生成、非结构化交互和基于重启的基线实现了更高的端到端归一化隐藏测试质量，同时还提高了协议有效完成度。这些结果经过 7,000 多次验证，将 GRACE-DS 确立为一个强大的平台，用于评估基于 LLM 的 AutoML 代理在类似生产条件下并根据组织特定要求执行机器学习工作流程的能力。