论文

当LLM发展语言:面向高效多智能体推理的符号通信

When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning

智能体系统Agent 协作

摘要

思维链(CoT)改进大语言模型(LLM)在困难推理任务上的表现——但常产生冗长的自然语言理据——与高效机器推理不对齐。我们提出通信语言符号路由(CLSR)——测试时框架——多个LLM智能体自主发明、演化并共享紧凑的语言符号框架(LSF)——同时无潜变量路由器按查询自适应选择与组合这些语言——以优化准确率-token权衡。不同于精化表面指令的提示优化——CLSR把每个LSF当作带紧凑符号、使用规则与消息传递契约的可复用符号协议——并经正确性与token成本驱动的演化循环改进它。推理时——路由器可调用单个低成本LSF调用、集成多个LSF——或在更难查询上执行多轮LSF组合协议。跨挑战基准——CLSR较标准CoT把面向延迟的生成token补全减少3-6倍——同时保持准确率。我们进一步推导任意符号主义下token成本的信息论下界——并表明在解释器可实现性前提下——多轮LSF协议有条件地包含程序执行管线。代码公开(https://github.com/pzqpzq/LSF_MDia)。

当LLM发展语言:面向高效多智能体推理的符号通信:论文配图
(a) (b) (c) 图 1:交际语言符号路由 (CLSR)。 (a) 我们让大语言模型自我进化出一个面向大语言模型的紧凑语言符号框架(LSF),即一种信息密集的推理“方言”,而不是扩展自然语言原理(例如,CoT)或依赖外部执行器(例如,PoT)。然后,LLM 路由器选择、集成或组合 LSF,从而实现可控的精度-令牌权衡。 (b) 多个智能体基于高杠杆选择迭代地提出、批评和改变候选 LSF。 (c) 然后在推理时查询饱和的 LSF 池以进行查询自适应协议规划。