论文

LLM生成比较的视觉指纹

Visual Fingerprints for LLM Generation Comparison

模型评测评测方法与指标

摘要

大语言模型(LLM)输出源自提示、系统指令、模型参数与架构间的复杂交互。我们把这三者的具体配置称为生成条件,每种条件都会以各种方式偏置输出。理解不同生成条件如何塑造模型行为,对提示设计与模型评估等任务至关重要;但由于文本生成的随机与开放性,这仍具挑战。我们提出一种跨生成条件可视化比较LLM输出的方法:把回复建模为语言选择的集合——内容、表达与结构。我们用NLP流水线抽取这些选择,表示其在重复采样中的分布,再把分布可视化为「视觉指纹」,实现条件特异倾向的直接、分布级比较。经四个使用场景,我们展示视觉指纹如何揭示LLM行为中难以从单条回复或聚合指标观察的一致模式。

LLM生成比较的视觉指纹:论文配图
图1:主题与格式热图:提示礼貌程度对Llama3.2-1B输出选择的影响。