ChunkRank：LLM 管道的模型感知文本分块和弃权感知答案选择

我们提出了 ChunkRank，一个开源 Python 库，它从目标模型的分词器和上下文窗口导出块边界，并在每个块独立生成的候选者中选择答案。它提供了跨 15 个提供商的 90 个模型和六种答案选择方法的经过验证的注册表，并且只需要三个核心依赖项。对于分块，ChunkRank 会自动避免模型名称中的上下文窗口溢出，而基于字符的拆分器会溢出或浪费预算，并且跨 11 种语言的保真度研究表明了为什么标记精确预算比英语更重要。对于答案选择，我们报告负面结果：在 NaturalQuestions、TriviaQA 和 HotpotQA 上，对于提取型和生成型读者，没有任何基于内容的排序器能够可靠地击败第一个非空答案。原因是读者对缺乏答案的部分弃权，而不是答案位置。长上下文基线显示分块与单跳问题上的单调用阅读相匹配，因此 ChunkRank 针对小窗口和超窗口设置。代码、注册表和评估工具已发布。