什么是好？从 LLM 推理痕迹中提取和测试文学质量的隐含理论

是什么让写作变得“好”仍然是文学研究和计算语言学中一个长期存在的问题。我们提出了一项关于推理 LLM 如何评估文学质量的两项研究调查。在研究 1 中，我们构建了涵盖六个质量等级（从规范文献到匿名论坛帖子）的 30 个真实文本的基准，并从其推理轨迹中提取了模型的隐含质量理论。在五次 DeepSeek 复制中，该模型实现了 79.3% 的平均层分类准确度。这些痕迹揭示了一个一致的理论：该模型重视意向性而不是正确性，优先考虑技巧、深度和独特的声音。对风格匹配但无法识别的段落进行的熟悉度实验表明，来源识别可能会提高分数，尽管这被规范原件和研究人员编写的模仿之间的真正质量差异所混淆。在研究 2 中，我们通过对五篇经典散文段落的系统退化来探讨这一理论。我们应用了六种操作——词汇简化、节奏扁平化、图像去除、语音通用化、结构简化和组合降级——并重新评估每个版本。词汇简化造成的质量损失最小（0.41 +/- 0.46 分），远低于结构 (2.78) 或语音 (2.34) 损失。综合退化是毁灭性的（-5.64），但是次加性的。与 Qwen QwQ 的探索性比较显示出相同的广泛定性模式。总之，这些研究表明，LLM 对写作质量的判断是整体的、针对作者的，并且对结构特征比词汇特征更敏感，这对自动写作反馈和计算美学具有影响。