论文
注意提示词:基于LLM的任务规划解释自适应生成
Mind the Prompt: Self-adaptive Generation of Task Plan Explanations via LLMs
摘要
将大语言模型(LLM)集成到复杂软件系统中,可以为不透明的AI过程(如自动化任务规划)生成人类可理解的解释。然而这些解释的质量和可靠性在很大程度上取决于有效的提示工程。对不同利益相关者群体如何制定和改进提示缺乏系统性理解,阻碍了能够自动化这一过程的工具的开发。我们提出COMPASS(COgnitive Modelling for Prompt Automated SynthesiS),一个概念验证性质的自适应方法,将提示工程形式化为认知与概率决策过程。COMPASS将不可观察的用户潜在认知状态(如注意与理解、不确定性)和可观察的交互线索建模为POMDP,其合成的策略支持自适应地生成解释与提示改进。我们通过两个不同的信息物理系统案例研究评估COMPASS,从定量和定性两方面评估自适应解释生成及其质量。结果表明COMPASS将人类认知与用户画像反馈整合进复杂任务规划系统的自动提示合成是可行的。
