将共形语言任务与上下文集成相统一

许多 NLP 任务（例如摘要和提取式问答）都简化为在两个约束下从文档中检索相关内容：覆盖范围（保留足够的相关信息以实现某些目标）和简洁性（删除尽可能多的不相关信息）。共形预测方法已用于保证覆盖范围，并且必须通过设计评分函数来优化简洁性。最先进的评分功能使用手工设计的 LLM 提示，要求模型对内容的重要性进行评分，但手动提示工程是劳动密集型且特定于任务的。我们引入了共形相关性框架，该框架使用上下文学习示例管理和集成来创建评分函数，该函数可以保持覆盖范围，同时以最少的手动输入提高简洁性。我们展示了该框架在七个 NLP 任务上的应用，并从理论上研究了多样性对集成共形分数的影响，给出了表征集成提高最坏情况句子分数的互补条件，以及集成改进的饱和界限。