论文
ClusterFewshot:改进 LLM 工作流程的小样本优化
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
摘要
大型语言模型 (LLM) 工作流程的性能通常取决于选择一小组上下文演示来指导新任务的模型行为。最近的方法通过增加成功推理路径的提示来改进这个过程。然而,他们的演示选择依赖于随机采样或基于度量的排名,忽略了任务的语义结构。我们提出 ClusterFewshot,一种将语义结构与实用程序感知评分相结合的策略,以构建具有代表性和有效的少镜头演示集。在基于 DSPy 的管道中进行评估,ClusterFewshot 显着降低了多个基准测试的优化成本,同时在独立提示调整和混合提示权重优化方面相对于先前基于引导程序的方法持续提高了准确性。