如何询问形状，得到什么：寻求建议对话中清晰度的理论测量 LLM

用户以不同的方式表达相同的建议寻求请求：一些指定详细的限制，另一些则表示模糊的需求。先前的工作将这种变化视为要平均掉的噪声；相反，我们将其视为输入分布中稳定的、可测量的结构。我们询问清晰度（人们如何提问）是否形成与主题（他们问什么）可分离的潜在维度，以及它是否与语言模型的响应方式相关。我们从公共聊天语料库（WildChat、LMSYS 和 ShareChat）汇集的 16,447 个咨询提示中提取可解释的特征，并恢复一小组在训练/测试拆分和语料库中复制的潜在表达因素。由于这种结构在很大程度上与主题分离，因此它定义的群体跨越主题，并且对基于主题或基于任务的评估不可见。这些因素定义了一些反复出现的表达风格，其中一种很突出：一种长格式但信息贫乏的风格，大约是最大语料库中六分之一的提示，其中模型返回更短、更模糊的答案，并且不要求澄清，尽管规范不足正是其保证的条件。这种对比在每个主题组和长度五分位数中都存在，并且不仅仅是规格不足——第二种同样规格不足的风格确实引起了澄清问题。两个独立的人类注释者再现了这种对比。我们认为基准应该在清晰度上分层，并且我们提供提取的结构作为这样做的测量工具。