论文

LiTS:一个用于LLM树搜索的模块化框架

LiTS: A Modular Framework for LLM Tree Search

模型推理推理搜索与路径规划

摘要

LiTS是一个通过树搜索进行LLM推理的模块化Python框架。它把树搜索分解为三个可复用组件(Policy、Transition和RewardModel),可插入MCTS和BFS等算法。基于装饰器的注册机制让领域专家通过注册组件扩展到新领域,也让算法研究者实现自定义搜索算法。我们在MATH500(语言推理)、Crosswords(环境规划)和MapEval(工具使用)上展示可组合性,结果表明组件与算法相互正交:组件在每种任务类型内可跨算法复用,算法可在所有组件与领域间通用。我们还报告了一个模式坍塌发现:在无限动作空间中,LLM策略多样性(而非奖励质量)是有效树搜索的瓶颈。演示视频见 https://youtu.be/nRGX43YrR3I。该包以Apache 2.0许可发布于 https://github.com/xinzhel/lits-llm,包含安装说明和可运行示例,用户可据此复现所演示的工作流。