大语言模型 的维度级意图保真度评估：来自结构化提示消融的证据

整体评估分数捕获总体输出质量，但无法区分模型是否再现了用户请求的结构形式以及是否保留了用户的特定意图。我们提出了一个维度级意图保真度评估框架，通过跨三种语言、三个任务域和六个 LLM 的 2,880 个输出的结构化提示消融研究来应用，该框架分别测量每个语义维度的结构恢复和意图保真度。该框架揭示了系统的结构保真度分裂：在具有完整配对分数的中文输出中，25.7％获得了完美的整体对齐分数（GA = 5），同时表现出可测量的维度意图缺陷；在英语产出中，这一比例上升至58.6%。人类评估证实，这些分割区域的输出代表了真正的质量缺陷，并且维度保真度分数比整体分数更可靠地跟踪人类判断。 2,520 个消融单元的公私分解表征了模型何时成功补偿了缺失的意图以及何时失败，而代理注释则区分了先前的可推断性和默认的可恢复性。重量扰动实验表明，适度的错位通常会被吸收，而严重的尺寸反转始终是有害的。这些发现表明，在评估用户特定任务的 LLM 输出时，维度级意图保真度评估是整体评估的必要补充。