针对长临床文本的预算感知路由

大语言模型 的一个关键挑战是每次查询的词元成本和总体部署成本。临床输入时间长、异构且常常冗余，而下游任务时间短且风险高。我们研究预算上下文选择，其中在严格的 词元预算 下选择文档单元的子集，以便现成的生成器可以满足固定成本和延迟限制。我们将其视为背包约束子集选择问题，具有两种设计选择：定义文档分段的单元化和确定保留哪些单元的选择。我们提出 \textbf{RCD}，一个平衡相关性、覆盖范围和多样性的单调次模目标。我们比较句子、部分、窗口和基于集群的单元化，并引入适应预算制度的路由启发式。 MIMIC 出院记录、Cochrane 摘要和 L-Eval 的实验表明，最佳策略取决于评估设置。位置启发式方法在提取任务中以低预算表现最佳，而 MMR 等多样性感知方法则改进了 LLM 的生成。选择器的选择比单元化更重要，基于集群的分组会降低性能，而其他方案的行为也类似。 ROUGE 对于 LLM 摘要来说是饱和的，而 BERTScore 更好地反映了质量差异。我们在 https://github.com/stone-technologies/ACL_budget_paper 发布代码。