CLIN：评估短篇波斯文学文本创造力的客观框架

评估 大语言模型 (LLM) 输出中的创造力仍然具有挑战性，因为创造力是多维的且以人为中心。我们研究了 LLM 在多种评估策略和提示表述中如何可靠地评估波斯语（一种资源匮乏的语言）的短文学文本。我们发现 LLM 与人类的一致性在不同维度上存在很大差异：对于结构化 TTCT 衍生属性（例如原创性、流畅性和精细化）的一致性更强，但对于更主观的维度（尤其是情感和吸引力），一致性要弱得多。判断对提示表述也很敏感，而少​​量提示、集成和多智能体辩论并没有提供一致的改进。受这种维度相关行为的推动，我们研究了是否可以使用简单、可解释的代理指标来近似结构化创造力维度。我们引入了 CLIN，它使用主题感知新颖性（原创性）、上下文词汇聚类（流畅性）和词汇多样性（精化性）分别评估三个 TTCT 派生维度。这些代理实现的人类对齐与我们设置中最强的零样本 LLM 判断相当或更好，同时需要显着降低的评估成本。