影响力策略重要吗？研究 LLM 代码生成中的提示帧效应

大语言模型 (LLM) 越来越多地集成到软件工程工作流程中，帮助开发人员编写、调试、测试和维护代码。虽然已知提示措辞和结构会影响模型性能，但心理启发的提示框架的影响仍有待探索。这项研究调查了人类用来说服或激励他人的不同基于心理学的沟通策略是否可以导致更有效的提示框架，从而可能反过来影响编码任务中的 LLM 行为。借鉴 Yukl 和 Falbe 著名的分类法，我们将八种影响策略（如理性说服、讨好和交换）运用到可复制的提示模板中。使用两个广泛采用的基准：LiveCodeBench 和 SWE-bench Verified，在五个领先的开放式 LLM 上对这些提示模板进行了评估。我们从四个关键软件质量维度评估了最终的代码输出：功能正确性、质量、可维护性和安全性。我们的结果表明，某些影响引起的提示框架，特别是那些强调紧迫性的框架，与正确性和安全性的降低有关。这项工作首次对软件工程任务中影响引起的提示框架进行了大规模实证研究，提供了关于语言线索如何塑造 LLM 输出的见解。最后，我们给出了在代码生成中设计透明且可解释的人机交互的实用见解。