SonicSampler：面向LLM采样与投机验证的统一tile感知内核

LLM推理中的采样由logit处理、token选择与投机解码验证操作组成一个组合集合。但现有实现要么只加速该管线的子集，要么依赖多次内核启动，要么假设批内采样行为同质——限制对动态服务工作负载的支持并阻碍高效CUDA Graph执行。我们提出SonicSampler，一套统一的tile感知Triton内核套件：把完整采样管线纵向融合为固定、负载感知的执行模型。其内核在单个批内核内支持动态逐请求采样行为——语法约束解码、重复/频率/存在惩罚、logit偏置、温度缩放、top-k/top-p/min-p过滤与投机验证——同时完全兼容CUDA Graph。方法核心是新颖的分层两阶段top-k算法：较竞争基线最高10倍加速，并利用LLM输出的低熵结构实现大词表上的高效选择。跨异构投机解码工作负载，SonicSampler较最先进基线最高16倍加速，同时保持灵活的批量执行。