用于抗偏差、鲁棒概念抽象的并行 LLM 推理

大语言模型 (LLM) 越来越多地用于分析文本。然而，他们在分析长文档时经常受到上下文推理限制的困扰。当按顺序处理长文档时，早期或主导概念可能会掩盖不太明显但有意义的解释，导致累积分析偏差、遗漏错误和过度概括。此外，独立生成的输出通常在没有系统基础的情况下进行合并，从而引入冗余、概念漂移和不受支持的主张。本研究提出了一种将并行块级处理与证据锚定整合相结合的结构化框架。文本首先被划分为语义一致的块，并独立并行处理，以消除早期处理的影响。然后使用明确的证据锚定和优先级来整合独立生成的解释，从而减少主导性和过度概括，同时提高可追溯性。对多种模型类型和大小的实验表明，并行处理可显着减少约 84% 的遗漏错误，将证据可追溯性提高高达 130%，并将不受支持的主张减少高达 91%。较小的模型受益最多，这表明高效的并行分块和合并在实现可靠且可扩展的文本分析中发挥着关键作用。