小红书以CommInsight追踪集群通信与训练因果链

针对千卡乃至万卡规模下通信成为影响任务进度、故障传播与集群效率的系统性变量，团队建设 CommInsight：在训练进程内由 Inject 于 torchrun 前安装、在创建 ProcessGroup 时把 group_desc/group_name 透传至 NCCL，为 DP/TP/PP/EP/CP 通信组角色识别提供语义证据。 Profiler 作为 NCCL Plugin 在 API 提交、通信任务创建、Kernel Channel 执行到 Proxy 数据传输的分层回调处捕获 Collective/P2P、Communicator、超时与性能事件。节点级 Agent 生成 Metrics、收集 Hang 现场证据并执行语义恢复与增量归档，Master Agent 做跨节点证据聚合。 Semantic Engine 不依赖框架打点，从每个 GPU 的 Collective/P2P 序列中经乱序吸收与确定性重排、模板选择、边界 FSM、语义投影与 Checkpoint 逆向恢复 Step、Forward/Backward、梯度同步与 Microbatch，并用跨 Rank 全局锚点（如 DFT_GLOBAL/DIST_OPT 通信域的小消息 AllReduce）校准 StepID。 Server 联合 Hang 现场、通信拓扑、训练语义与 NIC/NVLink 遥测，把任务异常逐层定位到 Rank、Step、通信组与物理链路。诊断侧给出 Straggler Index（平均致因等待 / 平均 Step Duration × 100，Pair 内双向抵消）与 Perfetto 原始时间线下钻三类入口。 可靠性的工程约束包括 Profiler 有界内存与 Per-Comm 资源隔离、Agent 节点自治、Semantic Engine 自动熔断、原始 inspector_logs 增量归档可离线重建，归档复用训练环境已有的 3FS 或 OSS。正文明确 Server 当前仍在对内部 SSO、任务平台、存储和运维流程进行 Provider 化重构，说明其已在内部运行。