论文
LLM生成比较的视觉指纹
Visual Fingerprints for LLM Generation Comparison
摘要
大语言模型(LLM)输出源自提示、系统指令、模型参数与架构间的复杂交互。我们把这三者的具体配置称为生成条件,每种条件都会以各种方式偏置输出。理解不同生成条件如何塑造模型行为,对提示设计与模型评估等任务至关重要;但由于文本生成的随机与开放性,这仍具挑战。我们提出一种跨生成条件可视化比较LLM输出的方法:把回复建模为语言选择的集合——内容、表达与结构。我们用NLP流水线抽取这些选择,表示其在重复采样中的分布,再把分布可视化为「视觉指纹」,实现条件特异倾向的直接、分布级比较。经四个使用场景,我们展示视觉指纹如何揭示LLM行为中难以从单条回复或聚合指标观察的一致模式。
