论文
以少学多：解锁内部表征实现基准压缩
Learning More from Less: Unlocking Internal Representations for Benchmark Compression
摘要
评估大语言模型（LLM）的高昂成本使得全量基准测试亟需高效替代方案。主流做法是挑选一个小的核心集（coreset）来逼近全基准性能。然而，现有方法必须从众多源模型的作答模式中估计可靠的题目画像，当源模型池很小时这在统计上不稳定。这种依赖对历史评估数据很少的新发布基准尤为受限。我们认为，离散的对错标签是模型决策过程的有损视图，无法捕获隐藏状态中编码的信息。为此，我们提出 RepCore，将异构的隐藏状态对齐到统一潜在空间以构建有代表性的核心集。用这些子集做性能外推，RepCore 仅用十个源模型就能达到精确的估计精度。在五个基准、200多个模型上的实验显示，其在排名相关性与估计精度上持续超越基于输出的基线。谱分析进一步表明，对齐后的表征包含可分离的成分，分别反映宽泛的作答倾向与任务特定的推理模式。
