大语言模型品牌推荐:单条回答的系统特征与聚合画像不同
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer
摘要
AI可见性审计常将已部署语言模型的品牌推荐汇总为系统画像。本文检验这种画像能否描述系统,使用2025年12月至2026年2月从五个部署端点收集的6,475条回答(其中6,324条可分析),覆盖礼品推荐、企业声誉和品类归属查询。采集用Harness截断了许多回答:品类归属查询中83.1%的Gemini 3 Flash回答在1,024词元输出上限处于句中结束。把每条回答统一截为前800个字符后,按提示词划分交叉验证的字符n-gram分类器可用97.84%的准确率识别来自GPT-5.2、Gemini 3 Flash、带搜索的Gemini 3 Flash、Grok或Perplexity sonar-pro的回答(5,028条回答、383个提示词,多数类31.5%,30个划分种子)。只用长度时准确率降至多数类水平,24项格式统计达到95.79%,遮盖品牌名和大写词元后仍有97.72%。未见查询条件下,按规模加权准确率为97.43%,未加权为88.0%;改变Harness的检索增强实验中,没有一条Grok回答被正确归为Grok(0/120)。汇总为50个“模型—领域—条件”单元后,12项行为特征在分组交叉验证中区分四个系统的准确率为66.53%,标签置换零假设的均值为33.71%,第95百分位为46.0%。跨领域聚合画像则失败:在品类归属单元上训练的随机森林把全部22个礼品单元归为错误系统,伴随品牌数量反转(礼品每答8.41对0.94个品牌,品类归属每答3.01对3.91个);单条回答迁移仍有89.92%的平衡准确率。回答形式在所测试查询领域中包含系统特征,但聚合品牌行为不具备同样迁移性,非交叉实验设计也无法把系统、领域与Harness影响分离。