论文
FlowEdit：面向冲突类病态问题的LLM推理流信息论控制
FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts
摘要
大语言模型（LLM）在有可行答案、规格良好的推理任务上表现强劲。但开放世界遇到的问题会因条件不一致、陈述冲突或互不兼容的要求而病态化——不存在有效响应。我们认为对这类涉及冲突的病态问题的推理需要新的LLM能力：使隐藏冲突显式化、经多条推理分支维持竞争假设、并在单次通过中生成交替响应——这些都因LLM下一token预测机制的限制而困难。为此我们提出FlowEdit，一个新颖框架：利用信息论原理量化并调节LLM的内部推理流，在有效假设下生成完整的交替响应集合。FlowEdit可视为在模型内部推理表示上以两个对偶的信息论目标强制分支感知的推理过程：最大化从每个选定假设到分支结果的信息流，同时最小化兄弟分支间的重叠与条件依赖，以提供多样、信息丰富、覆盖广的响应集合。我们证明这经可行的变分界实现（边界嵌入为ε充分的），优化LLM推理过程中的底层条件互信息。大量实验显示FlowEdit超越领先的专有模型：精确集合匹配准确率提升68%，整体响应信息量提升24%。我们进一步展示流调节在token流中呈现为下一token熵的再分布：集中于每条分支内部、在流边界放大、并随问题所需的流数扩展。
