HiRAS：用于纸张到代码生成和执行的分层多代理框架

大语言模型 的最新进展凸显了其自动化计算研究的潜力，特别是再现实验结果。然而，现有方法仍然使用全局协调较弱的固定顺序代理管道，这限制了它们的鲁棒性和整体性能。在这项工作中，我们提出了分层研究代理系统（HiRAS），这是一种用于端到端实验再现的分层多代理框架，它采用监督管理代理来协调细粒度阶段的专业代理。我们还确定了 Paper2Code 基准的无参考评估的局限性，并引入了 Paper2Code-Extra (P2C-Ex)，这是一种改进的协议，它包含存储库级信息并更好地与原始基于参考的指标保持一致。我们进行了广泛的评估，验证了我们提出的方法的有效性和鲁棒性，并观察了改进，包括超过使用开源骨干模型之前最先进的>10%的相对性能增益，并显着减少了评估中的幻觉。我们的工作可在 GitHub 上找到：https://github.com/KOU-199024/HiRAS。