论文

智能体协作不只交换建议,也可通过临时权重更新通信

Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights

智能体系统Agent 协作

摘要

多代理 LLM 系统通常通过交换自然语言消息进行协作。该接口简单且可解释,但它迫使每个发送方的中间计算被序列化为词元,然后由接收方重新处理,从而增加了生成词元的成本、预填充开销和 KV 缓存内存。我们研究了另一种通信接口:不是将发送者的消息附加到接收者的上下文中,而是将发送者的隐藏状态编译为瞬态的、接收者特定的权重扰动。我们介绍 TFlow(思想流),这是一种用于已知固定接收器架构的权重空间通信框架。对于每个查询,冻结的角色提示发送方代理会处理输入,学习参数生成器将其内部激活映射到针对接收方模块的低秩 LoRA 扰动。这些扰动仅在接收器生成期间融合和应用,从而实现实例级自适应,而无需永久更改模型或扩大接收器的文本上下文。借助三个 Qwen3-4B 代理,TFlow 在五个基准测试中比独立接收器提高了高达 8.5 个精度点,同时将处理的词元减少了高达 32.69%。与基于文本的三代理基线相比,它减少了高达 83.27% 的总处理词元,并将挂钟推理时间减少了高达 4.6$\times$,同时在五个基准中的四个上保持了有竞争力的准确性。这些结果表明,瞬态低秩权重扰动可以作为高效多智能体 LLM 协作的可执行通信媒介。