论文

提示分割与标注优化:通过优化的片段级标注控制LLM行为

Prompt Segmentation and Annotation Optimisation: Controlling LLM Behaviour via Optimised Segment-Level Annotations

上下文与知识上下文工程

摘要

提示工程对于与生成式人工智能系统有效交互至关重要,但现有优化方法往往在非结构化且庞大的提示空间上运作,导致计算成本高昂并可能扭曲原始意图。我们提出提示分割与标注优化(PSAO),一个旨在提升提示优化可控性与效率的结构化提示优化框架。PSAO将提示分解为可解释的片段(如句子),并为每个片段附加人类可读的标注(如{不重要}、{重要}、{非常重要})。这些标注引导大语言模型(LLM)在响应生成过程中分配关注点并澄清困惑。我们对分割与标注进行了形式化定义,并证明优化后的片段级标注能够改进LLM响应,同时保留原始提示作为优化空间中的候选以防止性能退化。实证评估表明,PSAO借助标注在推理准确率和自洽性方面获得改善。然而,开发用于识别最优分割与标注的高效方法仍然充满挑战,留待未来研究。这项工作旨在作为概念验证,展示片段级标注优化的可行性与潜力。