多流 LLM：通过并行思想、输入和输出流畅通语言模型

语言模型能力的持续改进已经释放了它们作为自主代理驱动程序的广泛用途，例如在编码或计算机使用应用程序中。然而，自 ChatGPT 等早期指令调整模型以来，这些系统的核心并没有太大变化。即使是先进的人工智能代理也可以在消息交换格式上发挥作用，在单个计算流中连续与用户、系统、自身（即思想链）和工具交换消息。聊天模型中单个流的瓶颈导致了许多限制：代理在读取时无法采取行动（生成输出），相反，在写入时无法对新信息做出反应。同样，智能体不能一边思考一边行动，也不能一边阅读信息或根据信息采取行动一边思考。在这项工作中，我们展示了通过从顺序消息格式的指令调整切换到多个并行计算流的指令调整，将每个角色拆分为单独的流，可以畅通模型。然后，语言模型的每次前向传递都会同时从多个输入流中读取并在多个输出流中生成标记，所有这些都因果地依赖于较早的时间步长。我们认为，这种数据驱动的变化弥补了如上所述的许多可用性限制，通过并行化提高了模型效率，通过更好的关注点分离提高了模型安全性，并且可以进一步提高模型的可监控性。