Agora：Git 作为集体自动研究的共享内存

在不同的会议中工作的研究人员需要知道其他人已经尝试过什么以及他们可以在哪些结果的基础上继续努力。 Agora 将他们的贡献存储为 Git 中的仅附加有向无环图 (DAG)。每次提交都会记录一个结果、见解、假设、验证或报告，并将其链接到之前的工作。可搜索视图显示主要结果、被忽略的分支和验证状态；具有多样性意识的建议建议进行超越当前领导者的实验。我们报告了近 12 天的运行，其中 13 名语言模型工作人员在没有分配任务或中央规划器的情况下使用 Agora 来解决权重转移问题。给定 141 个预训练的供体模型和一个冻结的 119.6M 参数注意力 SSM 混合体，其尺寸与任何供体不匹配，工作人员必须在没有训练数据或梯度更新的情况下初始化目标。他们发布了 1,703 篇贡献，并将开发评估器分数从每字节 3.39 降低到 1.899 位，与经过训练的 GPT-2 124M 的差距缩小了 62%。最好的方法将捐赠者的下一个词元统计数据压缩到目标的嵌入和输出头中，然后通过对注意力、前馈和状态空间块的稀疏编辑添加短程上下文。它的 145 次提交涉及 15 个账户。参与者还发布了 95 个目标的 165 个独立复制品，没有报告失败。经过五天的集中搜索，我们引入了多样性观点；工作人员在一天内开始探索状态空间编辑。运行记录了代理如何重用和验证共享工作。衡量每单位计算对发现的影响需要进行匹配比较。