论文
语义密度效应 (SDE)：最大化每个词元的信息可提高 LLM 准确性
Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy
摘要
我们引入语义密度效应（SDE）：这一经验发现促使每个标记携带更高的语义信息，在所有主要 LLM 系列中始终产生更准确、更集中、更少幻觉的输出。 SDE 被定义为语义加载的标记与总提示标记的比率，并根据冗余和具体性进行调整。与之前添加标记（思维链）、复制提示（提示重复）或重新排序组件（指令放置效果）的提示优化技术不同，SDE 通过删除或替换低信息标记，同时保留或锐化语义信号来提高性能。通过五个前沿模型和七个基准进行评估，超密集提示（SDE > 0.80）在 0 个额外词元和 0 延迟开销的情况下，比稀释的提示平均高出 +8.4 个百分点。结合指令布局效应（IPE），增益达到+11.7个百分点