QYTANG VIP PROGRAM · Nvidia

NVIDIA AI 超算网络综合实战（AIN2027）

重点课程公开试听1 条录像363 项目录

COURSE INTRODUCTION

课程介绍

全新升级的 NVIDIA AI 超算网络课程，以 RDMA 为主线，系统讲解 RoCE 协议与无损网络（PFC/ECN）、Cumulus 与 SONiC 交换机实战、InfiniBand 与 UFM 统一运维、GPU 拓扑与模型切分、NCCL 集合通信测试与调优，并新增 DPU 网络卸载及 Kubeflow 分布式训练、vLLM 推理演示。课程基于 Kubernetes 实验平台和真实 NVIDIA 交换机、网卡与 GPU 服务器开展实操，强调可验证、可排错的 AI 网络设计与运维能力。

CURRICULUM

课程目录

00
1. 0.1
  网络、主机名与 SSH
  规划主机、VIP 与 RoCE 物理连接，打通主机名解析与 SSH 免密。
  1. 0.1.1
    主机与 VIP 规划
  2. 0.1.2
    RoCE 物理连接
  3. 0.1.3
    主机名、/etc/hosts 与 SSH 免密
  4. 0.1.4
    网络检查与端口规划
2. 0.2
  Master DNS
  在 Master 部署 dnsmasq，统一全部节点的域名解析。
  1. 0.2.1
    DNS 记录规划
  2. 0.2.2
    在 Master 安装 dnsmasq
  3. 0.2.3
    各节点使用 Master DNS 并验收
3. 0.3
  OS、containerd 与 K8s 工具
  完成系统基线、容器运行时与 kubeadm/kubelet 工具安装。
  1. 0.3.1
    关闭 swap、内核模块与 sysctl
  2. 0.3.2
    安装 containerd
  3. 0.3.3
    安装 Kubernetes 工具并固定 node-ip
  4. 0.3.4
    节点基线检查
4. 0.4
  Harbor 与镜像信任
  让四个节点信任 Harbor 私有仓库，并验证课程镜像拉取。
  1. 0.4.1
    Harbor 服务与镜像检查
  2. 0.4.2
    将 Harbor CA 分发到四节点
  3. 0.4.3
    配置 containerd 并验证拉取
  4. 0.4.4
    课程镜像清单
  5. 0.4.5
    Harbor 从零安装说明
5. 0.5
  初始化控制面
  kubeadm 初始化前检查、控制面镜像、初始化与验证。
  1. 0.5.1
    初始化前检查
  2. 0.5.2
    查看控制面镜像
  3. 0.5.3
    初始化控制面并验证
  4. 0.5.4
    常用修正
6. 0.6
  三台 Worker 加入
  满足加入门槛后，逐台加入并登记三台 Worker。
  1. 0.6.1
    加入前门槛
  2. 0.6.2
    逐台加入并登记
7. 0.7
  Calico、MetalLB 与 Ingress
  安装容器网络、负载均衡与 Ingress，打通外部访问链路。
  1. 0.7.1
    安装 Calico 与 Helm
  2. 0.7.2
    安装 MetalLB
  3. 0.7.3
    安装 ingress-nginx
  4. 0.7.4
    Demo 应用与 Windows 客户端访问
8. 0.8
  Kubeflow 与 CPU Notebook
  安装 Kubeflow，完成 Dashboard、Notebook 与 HTTPS 入口验证。
  1. 0.8.1
    StorageClass、kustomize 与 inotify 准备
  2. 0.8.2
    安装 Kubeflow Community Distribution
  3. 0.8.3
    Dashboard 与 Notebook 验证
  4. 0.8.4
    HTTPS 正式入口
  5. 0.8.5
    常见问题
9. 0.9
  平台验收与快照停点
  逐项验收平台与网络，交付快照作为后续章节的起点。
  1. 0.9.1
    DNS、管理网与 SSH
  2. 0.9.2
    Kubernetes、Harbor 与入口
  3. 0.9.3
    基础 RoCE 可达性
  4. 0.9.4
    UFM 与 NVMe-oF Server 快照前检查
  5. 0.9.5
    重启恢复与停点
01
查看讲义
1. 1.1
  为什么 AI 训练需要高速网络
  以同步数据并行说明计算依赖、通信等待与慢端影响。
  1. 1.1.1
    训练以 step 为节拍推进
  2. 1.1.3
    一张 GPU 慢下来，其他 GPU 也要等
  3. 1.1.5
    传统通信路径的开销与 RDMA 的价值
  4. 1.1.6
    RDMA 的两条主流工程路线
2. 1.2
  RDMA 如何改变数据路径
  对比 Socket 与 RDMA，理解内核旁路、零拷贝与协议卸载。
  1. 1.2.1
    普通 Socket 与 RDMA 的不同
  2. 1.2.2
    RDMA 的三项关键机制
3. 1.3
  消息传递与远端内存访问
  Send/Receive、Write、Read 三种操作的语义与代价。
  1. 1.3.1
    Send/Receive：对方要签收
  2. 1.3.2
    RDMA Write：直接放进对方的柜子
  3. 1.3.3
    RDMA Read：直接从对方的柜子取
4. 1.4
  一次 RDMA Write 如何完成
  沿完整请求链认识 QP、MR、CQ、WQE/CQE 与连接建立。
  1. 1.4.1
    十个步骤看一次写入与读取
  2. 1.4.2
    对照流程认识术语
  3. 1.4.3
    准备连接与交换内存信息
5. 1.5
  RDMA 的网络承载：InfiniBand 与 RoCE
  建立两种承载的感性认识，比较网络体系与建设成本。
6. 1.6
  从主机内存到 GPU 显存
  GPUDirect RDMA 缩短了哪段路径、需要哪些条件。
  1. 1.6.1
    GPUDirect RDMA 缩短的路径
02
查看讲义
1. 2.1
  RoCE 是什么，为什么会出现
  以太网承载 RDMA 的动机，以及它在 AI/GPU 时代的位置。
  1. 2.1.1
    RoCE 在 AI/GPU 时代的位置
2. 2.2
  InfiniBand 和 RoCE 的关系
  保留 IB 传输层语义，替换底层网络。
3. 2.3
  从 InfiniBand 到 RoCEv1、RoCEv2
  外层封装如何决定 RoCE 的转发范围。
  1. 2.3.1
    RoCEv1
  2. 2.3.2
    RoCEv2
  3. 2.3.3
    后文为什么使用 RoCEv2
4. 2.4
  识读 RoCEv2 报文
  BTH、RETH、ICRC 等字段由谁读取、能证明什么。
  1. 2.4.1
    一条 RC Write 的整体封装
  2. 2.4.2
    用 Wireshark 对照第 16 帧
5. 2.5
  抓包中的管理流量与 RoCE 数据流量
  双网口抓包合并，区分 TCP 管理流量与 RoCE 数据流量。
  1. 2.5.1
    两个网口分别抓包再合并
  2. 2.5.2
    在 Wireshark 中区分两类流量
03
查看讲义
1. 3.1
  实验平台与软件准备
  上篇起点：课程综合拓扑总览，按需准备 DOCA-OFED 驱动与工具。
  1. 3.1.1
    驱动与工具准备
2. 3.2
  主机环境：从物理网卡到 GID 的四层对应
  把物理层、网络层、RDMA 层与 GID 层逐层对应起来。
3. 3.3
  物理层：PCIe 硬件与链路状态
  确认网卡被正确识别、物理链路已经协商成功。
  1. 3.3.1
    确认 PCIe 硬件识别
  2. 3.3.2
    确认物理链路状态
4. 3.4
  网络层：MAC、IP 与互通性
  核对数据口地址并完成基础互通测试。
  1. 3.4.1
    确认数据口地址
  2. 3.4.2
    基础互通性测试
5. 3.5
  RDMA 层：设备识别与端口状态
  确认 RDMA 设备的链路类型、MTU、端口状态与网口绑定。
  1. 3.5.1
    链路类型与 MTU
  2. 3.5.2
    端口状态与网口绑定
6. 3.6
  GID 层：全局标识符表
  读懂 GID 表与 GID index 的选择，并与第 2 章抓包对照。
  1. 3.6.1
    确认主机的 GID 表
  2. 3.6.2
    为什么本环境使用 GID[3]
  3. 3.6.3
    与第 2 章抓包对照
7. 3.7
  交换机与链路器件
  中篇起点：Console 接入与恢复出厂，确认交换机型号、芯片、系统与 Breakout 连线。
  1. 3.7.1
    Console 接入、恢复出厂与首次登录
  2. 3.7.2
    确认硬件型号与芯片
  3. 3.7.4
    物理连线与 Breakout 拆分
8. 3.8
  Cumulus Linux 基础初始化
  完成交换机基础网络配置，为计数采集准备 SSH 免密。
  1. 3.8.1
    基础网络配置
  2. 3.8.2
    为计数采集准备 SSH 免密
9. 3.9
  启用 RoCE 无损网络
  讲清 ECN 与 PFC 的原理和案例，设计队列并启用 RoCE lossless 配置。
  1. 3.9.1
    ECN：通知发送端减速
  2. 3.9.4
    PFC：逐跳暂停与 Headroom
  3. 3.9.6
    流量标记与队列设计
  4. 3.9.7
    启用交换机 RoCE lossless 配置
  5. 3.9.9
    从手动配置切换到 DCBX
10. 3.10
  RoCE 连通性与基础性能测试
  下篇起点：先测 TCP 基线，再用 perftest 测 RoCE 延迟、带宽与 CPU 开销。
  1. 3.10.1
    TCP 基线：两节点 qperf
  2. 3.10.3
    Send/Recv 延迟与带宽
  3. 3.10.5
    RDMA Write 延迟与带宽
  4. 3.10.7
    TCP 与 RoCE 的 CPU 开销
11. 3.11
  DCB 综合验证：PFC、ECN/CNP 与有损丢弃
  制造可控拥塞，用前后计数增量验证 PFC、ECN/CNP 与有损队列的行为。
  1. 3.11.3
    制造可控拥塞
  2. 3.11.5
    同时运行 RoCE 与普通 UDP
  3. 3.11.6
    计算增量并核对结果
  4. 3.11.7
    结果解读
12. 3.12
  ECN 调优：保持吞吐，降低小消息延迟
  每次只改一个参数，逐轮调整 ECN 标记阈值并回到起点复核。
  1. 3.12.2
    每次只改一个参数
  2. 3.12.4
    让 ECN 更早开始标记
  3. 3.12.5
    在更小积压范围内加强反馈
  4. 3.12.7
    回到起点，确认改善来自配置
13. 3.13
  ETS 调优：为重要业务分配更多带宽
  从 50:50 出发调整 ETS 份额，复核并形成现场调优顺序。
  1. 3.13.2
    先测 50:50
  2. 3.13.3
    只调整 ETS，向 TC3 倾斜
  3. 3.13.4
    恢复 50:50 再复核
  4. 3.13.6
    形成现场调优顺序
14. 3.14
  安装 Network Operator 并验收 RoCE 资源
  用 Network Operator 把网络与 RDMA 设备交给 Pod，三 Pod 实验验收。
  1. 3.14.2
    Network Operator 怎样把 RDMA 交给 Pod
  2. 3.14.3
    安装组件
  3. 3.14.5
    在 YAML 中申请网络与设备
  4. 3.14.6
    带外交换与 GID 选择
  5. 3.14.7
    查看设备与通信结果
04
1. 4.1
  GPU 训练流量的特点与网络要求
  从 DP/TP/PP 的通信范围推导带宽、时延与稳定性需求。
2. 4.2
  高性能 RoCE 网络的设计考量
  Clos 拓扑、容量与冗余、Rail 优化和负载均衡的设计取舍。
  1. 4.2.1
    双层 Clos 与可预测路径
  2. 4.2.3
    冗余性与弹性设计
  3. 4.2.4
    1:1 无超额订阅的端口容量推导
  4. 4.2.5
    Rail 优化：接线与通信组织对齐
  5. 4.2.6
    负载均衡与 Spectrum-X 平台
3. 4.4
  综合实验介绍
  LAB 拓扑、设备角色与手工实验的配置顺序。
4. 4.5
  Leaf 本地基础配置
  逐台完成三台 Leaf 的本地基础配置。
  1. 4.5.1
    Leaf01
  2. 4.5.2
    Leaf02
  3. 4.5.3
    Leaf03
5. 4.6
  Spine 的 Underlay 底座
  补齐 Spine 的接口与 Underlay 基础。
6. 4.7
  配置 MLAG 与 VRR
  在 Leaf01/Leaf02 上配置 MLAG 与 VRR 共享网关。
  1. 4.7.1
    配置 Leaf01
  2. 4.7.2
    配置 Leaf02
7. 4.8
  配置服务器接入接口
  推送服务器侧配置，查看接口状态与 Bonding 细节。
  1. 4.8.1
    服务器侧配置思路
  2. 4.8.2
    逐台推送服务器配置
  3. 4.8.4
    查看 Bonding 细节
8. 4.9
  配置 Underlay BGP
  Leaf 与 Spine 两侧的 Underlay BGP 配置。
  1. 4.9.1
    Leaf 侧配置
  2. 4.9.2
    Spine 侧配置
9. 4.10
  叠加 EVPN 与 VXLAN
  在 Underlay 之上叠加 EVPN/VXLAN 并验证结果。
  1. 4.10.1
    Leaf 侧配置
  2. 4.10.2
    Spine 侧配置
  3. 4.10.3
    结果验证
10. 4.12
  Ansible/NVUE 自动化配置
  沿 deploy.yaml、变量文件与母版模板，看一组配置如何自动下发并验收。
  1. 4.12.1
    从 hosts 找到 Leaf01：deploy.yaml
  2. 4.12.2
    Leaf01 的数据：leaf01.yml
  3. 4.12.3
    Leaf 母版怎样调用模块：leaf_main.j2
  4. 4.12.5
    部署后用 show 与 ping 验收
11. 4.13
  NetQ 实战
  安装 NetQ，发现交换机，查看拓扑、BGP、EVPN 并用 Validation 做全网检查。
  1. 4.13.1
    组件与数据流
  2. 4.13.3
    安装平台
  3. 4.13.7
    发现四台交换机并安装 NetQ
  4. 4.13.11
    查看全网 BGP 会话
  5. 4.13.13
    创建 Validation 并解读结果
05
1. 5.1
  SONiC 简介
  SONiC 的架构与定位，配套 ONIE 刷机与镜像构建专题。
2. 5.2
  SONiC LAB2 命令行配置
  用命令行配置 Leaf、Spine、MC-LAG、BGP 与 EVPN/VXLAN，并逐步查看结果。
  1. 5.2.2
    配置三台 Leaf 并查看
  2. 5.2.3
    配置 Spine 并查看
  3. 5.2.4
    MC-LAG 与共享网关
  4. 5.2.6
    Underlay BGP 与路由查看
  5. 5.2.7
    EVPN、VXLAN 与 VTEP
3. 5.3
  Ansible 自动化配置
  沿用第 04 章的套路，自动配置 SONiC LAB2 并验收。
  1. 5.3.1
    从 hosts 找到 Leaf01：deploy.yaml
  2. 5.3.2
    Leaf01 的数据：Leaf01.yml
  3. 5.3.3
    两份母版怎样调用模块
  4. 5.3.5
    部署后用 show 与 ping 验收
06
1. 6.1
  InfiniBand 是什么，为什么会出现
  IB 的由来及其在 AI 时代的现实意义。
  1. 6.1.1
    InfiniBand 在 AI 时代的意义
2. 6.2
  组成与术语
  把子网当成一个小区，认识 HCA、交换机、SM 等角色。
  1. 6.2.1
    全章比喻对照表
3. 6.3
  物理连接：车道、闸口与限速
  链路宽度、接口形态与速率代际。
  1. 6.3.1
    链路宽度：1X、2X、4X
  2. 6.3.2
    接口形态：QSFP、OSFP
  3. 6.3.3
    速率代际：EDR、HDR、NDR、XDR
4. 6.4
  地址和报文：门牌与信件
  GUID、LID、GID 与 PKey，并用 Wireshark 拆解真实 IB 包。
  1. 6.4.1
    GUID 与 LID
  2. 6.4.2
    GID：带子网名的完整地址
  3. 6.4.3
    为什么子网里靠 LID 转发
  4. 6.4.4
    PKey 与 Partition
  5. 6.4.5
    用 Wireshark 看真实 IB 包
5. 6.5
  子网从上电到可通信
  SM 发现拓扑、分配 LID、下发转发表，端口进入 Active。
  1. 6.5.3
    SM 发现拓扑
  2. 6.5.4
    分配 LID
  3. 6.5.5
    计算并下发转发表（LFT）
  4. 6.5.6
    端口进入 Active
6. 6.6
  新节点接入
  新节点加入已运行子网时发生了什么。
7. 6.7
  SM 值班与无损投递
  SM 宕机的影响，以及信用流控、SL 与 VL。
  1. 6.7.1
    SM 宕机会怎样
  2. 6.7.2
    信用流控、SL 与 VL
07
1. 7.1
  实验平台概览
  IB 实验拓扑、交换机与主机角色。
2. 7.2
  交换机基础命令
  初始化交换机，核对版本、硬件、SM 与 IB 端口。
  1. 7.2.1
    从 Console 清空并初始化交换机
  2. 7.2.2
    查看版本与硬件 Inventory
  3. 7.2.4
    确认 SM 与 IB 端口
3. 7.3
  主机基础命令
  准备软硬件，确认 Worker 的 IB 端口与 HCA 身份、速率、MTU。
  1. 7.3.1
    硬件与软件准备
  2. 7.3.2
    确认三台 Worker 的 IB 端口
  3. 7.3.3
    HCA 身份、速率与 MTU
4. 7.4
  子网发现：登记簿与邻居
  用发现命令还原 Fabric 拓扑。
  1. 7.4.1
    命令汇总：信息从哪里来
5. 7.5
  门牌、物业与指路牌
  把主机对应到 GUID/LID，确认 Master SM，读取 GID 与 LFT。
  1. 7.5.1
    把主机对应到 GUID 与 LID
  2. 7.5.2
    当前 Master SM
  3. 7.5.3
    读取 GID 与 LFT
6. 7.6
  连通性与路径：1 跳与 3 跳
  用 ibping 与路径追踪验证同 Leaf 与跨 Leaf 路径。
  1. 7.6.1
    IB 管理探测：ibping
  2. 7.6.2
    路径追踪：同 Leaf 1 跳，跨 Leaf 3 跳
7. 7.7
  基础性能测试：TCP 与 IB
  与第 3 章同口径测试延迟、带宽与 CPU 利用率。
  1. 7.7.1
    TCP 基线：两节点 qperf
  2. 7.7.3
    Send/Recv 延迟与带宽
  3. 7.7.5
    RDMA Write 延迟与带宽
  4. 7.7.7
    CPU 利用率对照
08
1. 8.1
  UFM 平台定位与作用
  UFM 在 IB Fabric 管理中的角色。
2. 8.2
  UFM Docker Standalone 部署
  检查前置条件，运行官方安装器，停用旧 SM 并启动 UFM。
  1. 8.2.1
    架构与前置条件
  2. 8.2.2
    宿主机 RDMA 检查
  3. 8.2.4
    运行官方安装器
  4. 8.2.5
    停用旧 SM 并启动 UFM
3. 8.3
  启动验证与 SM 接管
  确认容器服务、许可与实际 Master，开放 Web 管理访问。
  1. 8.3.1
    容器与服务
  2. 8.3.2
    许可与实际 Master
  3. 8.3.3
    Web 管理访问与持久化设置
4. 8.4
  UFM GUI、PKey 与统一运维
  浏览 GUI 各功能页，并用 PKey 完成 Full/Limited 分区实验。
  1. 8.4.1
    Dashboard 与事件告警
  2. 8.4.3
    Network Map、设备与端口
  3. 8.4.9
    Telemetry 遥测分析
  4. 8.4.11
    PKey：IB 的逻辑隔离机制
  5. 8.4.14
    Full 与 Limited 成员资格
5. 8.5
  SHARP 原理与 UFM 集成
  网络内聚合的原理、设备条件与当前环境状态。
  1. 8.5.1
    SHARP 是什么
  2. 8.5.4
    SHARP 的聚合树原理
  3. 8.5.5
    SHARP 需要什么设备
  4. 8.5.7
    当前环境中的 SHARP 状态
6. 8.6
  OpenSM：独立的 IB 子网管理器
  OpenSM 的来源、功能及与 Spine 的主备关系。
  1. 8.6.1
    OpenSM 的来源与主要功能
  2. 8.6.2
    OpenSM 与 Spine 的主备关系
7. 8.7
  撤下 UFM，用 Docker Compose 部署 OpenSM
  部署 OpenSM 完成接管，并恢复 Spine 备用 SM。
  1. 8.7.1
    源码、镜像与课堂目录
  2. 8.7.2
    完成 OpenSM 配置与接管
  3. 8.7.3
    恢复 Spine 备用 SM
8. 8.8
  OpenSM 拓扑、路由与分区配置
  回读拓扑与路由，用命令行完成分区实验。
  1. 8.8.1
    版本、拓扑与路由回读
  2. 8.8.2
    两 Limited、一 Full 配置
  3. 8.8.3
    撤销业务分区
9. 8.9
  IB Monitor：自己搭一个监控工具
  一张 IB 卡采集整个 Fabric，用 Prometheus 与 Grafana 展示。
  1. 8.9.1
    一张 IB 卡怎样采集整个 Fabric
  2. 8.9.3
    浏览 Grafana 看板
  3. 8.9.4
    查看 Prometheus 采集结果
10. 8.10
  查看 Master 变化
  停止并恢复 OpenSM，观察 Master SM 的切换。
  1. 8.10.1
    停止 OpenSM，观察 Spine 接管
  2. 8.10.2
    恢复 OpenSM
09
1. 9.1
  先认识一台 GPU 服务器
  GPU、网卡、PCIe 与 NVLink 在一台服务器里的位置。
2. 9.2
  分头处理数据：DP
  数据并行的模型副本、梯度同步与等待。
3. 9.3
  把一步计算拆开：TP
  张量并行的矩阵切分与层内集合通信。
4. 9.4
  把模型分段接力：PP
  流水线并行的阶段划分、激活传递与气泡。
5. 9.5
  把分工放到机器上
  组合 DP/TP/PP，判断放置如何改变跨机通信。
  1. 9.5.1
    再加入 DP：两份完整模型怎样放
  2. 9.5.2
    放置改变哪种通信需要跨机
6. 9.6
  按需要认识通信操作
  AllReduce 与 Send/Recv 在训练中的作用。
  1. 9.6.1
    AllReduce：人人拿到完整合计
  2. 9.6.2
    Send/Recv：前向传结果，反向传梯度
7. 9.7
  NCCL 怎样完成通信
  框架、NCCL 与网络的分工，以及 Ring/Tree 的基本取舍。
8. 9.8
  看懂真实拓扑
  读懂拓扑输出，比较理想与受限的 GPU/NIC 布局，确认 GPUDirect RDMA。
  1. 9.8.1
    按三层读输出
  2. 9.8.2
    分清 PCIe 的根与交换芯片
  3. 9.8.3
    理想案例：八张 GPU 对齐八张网卡
  4. 9.8.4
    受限案例：共享两侧业务出口
  5. 9.8.5
    GPUDirect RDMA：网卡能否直接访问显存
9. 9.9
  推理时有哪些变化
  KV Cache 复用与 PD 分离对网络的影响。
  1. 9.9.1
    缓存复用：相同资料，少算一次
  2. 9.9.2
    PD 分离：P 读题，D 答题
10
1. 10.1
  GPU 与监控就绪
  用 GPU Operator 交付 GPU，接通 DCGM 监控并读懂关键指标。
  1. 10.1.1
    GPU Operator：把 GPU 交给 Kubernetes
  2. 10.1.2
    一个脚本完成 GPU 环境安装
  3. 10.1.3
    DCGM 指标进入 Prometheus 和 Grafana
  4. 10.1.4
    读懂五项监控指标
2. 10.2
  用 DNS 启动三节点 IB 环境
  三个计算 Pod 与 Launcher 通过动态地址与 DNS 互相发现。
  1. 10.2.1
    三台服务器、三个计算 Pod、一个 Launcher
  2. 10.2.2
    动态地址与 DNS
  3. 10.2.3
    核对本轮成员与 IB 设备
3. 10.3
  跑通第一次 AllReduce
  小消息验证 NCCL 路径，重建 Pod 后按原名称重跑。
  1. 10.3.1
    没有模型，测的是什么
  2. 10.3.2
    默认选择下的小消息验证
  3. 10.3.3
    重建 Pod 后按原来的名字再跑
4. 10.4
  NCCL 怎样选择通信方案
  从拓扑与 GPU 到网卡的路径出发，读出 NCCL 的实际选择。
  1. 10.4.1
    拓扑与 GPU 到网卡的路径
  2. 10.4.2
    安排通路、估算耗时
  3. 10.4.3
    读出这次 AllReduce 实际选了什么
5. 10.5
  自动选择与 Ring/Tree 对照
  分别运行 Auto、Ring、Tree，按数据量画曲线解释差异。
  1. 10.5.1
    先跑 Auto，再指定 Ring 和 Tree
  2. 10.5.2
    按数据量画曲线，找出差异区间
  3. 10.5.3
    用协议对照解释差异
6. 10.6
  网络能力与 QP 参数验证
  对照线速、两机 RDMA 与三机 NCCL，比较不同 QP 数量。
  1. 10.6.1
    线速、两机 RDMA 与三机 NCCL
  2. 10.6.2
    对比 QP 1、2、4、8
  3. 10.6.3
    保留有效设置，恢复基线
7. 10.7
  三个典型故障，走完排查过程
  按现象、证据与修复走完三个真实故障。
  1. 10.7.1
    Launcher 抢跑，Worker 还没准备好
  2. 10.7.2
    训练成功了，数据却走了 Socket
  3. 10.7.3
    物理链路已通，IB 端口仍未就绪
11
1. 11.1
  DPU 与智能网卡的基本认识
  DPU 的运行位置与工作模式，准备 Target 与 SNAP 后端。
  1. 11.1.1
    准备 Target 与 SNAP 后端
  2. 11.1.2
    在 Host 找到 BlueField
2. 11.2
  主机、DPU 与交换机的数据路径
  数据在主机、DPU Arm 与交换机之间如何流动。
3. 11.3
  基本配置与网络验证
  查询接口、namespace、Arm 与远端后端。
  1. 11.3.1
    查询当前接口与 namespace
  2. 11.3.2
    查询 Arm 与远端后端
4. 11.4
  NVMe-oF 与 DPU 卸载简短演示
  用前后计数对账证明存储读写由 DPU 卸载。
  1. 11.4.1
    存储卸载怎样发生
  2. 11.4.2
    先读取计数
  3. 11.4.3
    从 Host 读取专用 namespace
  4. 11.4.4
    采后对账
5. 11.5
  单张 DPU 的网络硬件卸载
  查看 OVS 卸载开关，发包并确认硬件转发流。
  1. 11.5.2
    查看 OVS 拓扑与卸载开关
  2. 11.5.3
    启用 Host 侧实验接口
  3. 11.5.4
    发包并查询硬件转发流
12
1. 12.1
  准备共享存储与训练环境
  共享模型盘与 NFS、训练镜像，确认模型可读与三节点 IB 通信。
  1. 12.1.1
    准备共享模型盘与 NFS
  2. 12.1.2
    核对训练环境与镜像
  3. 12.1.4
    确认模型与样本可读
  4. 12.1.5
    先校验三节点 IB 通信
2. 12.2
  Kubeflow 分布式训练演示
  用 Kubeflow 组织小规模 QLoRA 训练并合并为可上线模型。
  1. 12.2.1
    Kubeflow 负责组织训练
  2. 12.2.2
    小规模 QLoRA 训练完成参数更新
  3. 12.2.3
    将适配器合并为完整模型
  4. 12.2.4
    对照完整训练的归档结果
3. 12.3
  vLLM 推理服务上线与调用演示
  两个单 GPU 副本、HTTPS API 入口与聊天/流式调用。
  1. 12.3.1
    两个独立单 GPU 副本
  2. 12.3.2
    为对外 API 建立可信 HTTPS 入口
  3. 12.3.3
    查询模型、聊天与流式调用
  4. 12.3.4
    对照业务问答的归档验收
4. 12.4
  从演示回看 AI 网络的价值
  对照训练、存储与服务路径，释放任务并保留模型服务。
  1. 12.4.1
    对照训练、存储与服务路径
  2. 12.4.2
    释放已完成任务，保留模型服务

COURSE RECORDINGS

课程录像

公开试听录像，可以直接播放或前往原视频平台观看。

B 站01

PUBLIC PREVIEW

乾颐堂现任明教教主教主VIP Nvidia超算网络AIN2027 试听：教案已切换到HTML，加入GIF动画

前往原视频平台观看

NVIDIA AI 超算网络综合实战（AIN2027）

第0部分 K8S环境：Kubernetes 与 Kubeflow 平台基座

网络、主机名与 SSH

主机与 VIP 规划

RoCE 物理连接

主机名、/etc/hosts 与 SSH 免密

网络检查与端口规划

Master DNS

DNS 记录规划

在 Master 安装 dnsmasq

各节点使用 Master DNS 并验收

OS、containerd 与 K8s 工具

关闭 swap、内核模块与 sysctl

安装 containerd

安装 Kubernetes 工具并固定 node-ip

节点基线检查

Harbor 与镜像信任

Harbor 服务与镜像检查

将 Harbor CA 分发到四节点

配置 containerd 并验证拉取

课程镜像清单

Harbor 从零安装说明

初始化控制面

初始化前检查

查看控制面镜像

初始化控制面并验证

常用修正

三台 Worker 加入

加入前门槛

逐台加入并登记

Calico、MetalLB 与 Ingress

安装 Calico 与 Helm

安装 MetalLB

安装 ingress-nginx

Demo 应用与 Windows 客户端访问

Kubeflow 与 CPU Notebook

StorageClass、kustomize 与 inotify 准备

安装 Kubeflow Community Distribution

Dashboard 与 Notebook 验证

HTTPS 正式入口

常见问题

平台验收与快照停点

DNS、管理网与 SSH

Kubernetes、Harbor 与入口

基础 RoCE 可达性

UFM 与 NVMe-oF Server 快照前检查

重启恢复与停点

第01章 RDMA技术原理

为什么 AI 训练需要高速网络

训练以 step 为节拍推进

一张 GPU 慢下来，其他 GPU 也要等

传统通信路径的开销与 RDMA 的价值

RDMA 的两条主流工程路线

RDMA 如何改变数据路径

普通 Socket 与 RDMA 的不同

RDMA 的三项关键机制

消息传递与远端内存访问

Send/Receive：对方要签收

RDMA Write：直接放进对方的柜子

RDMA Read：直接从对方的柜子取

一次 RDMA Write 如何完成

十个步骤看一次写入与读取

对照流程认识术语

准备连接与交换内存信息

RDMA 的网络承载：InfiniBand 与 RoCE

从主机内存到 GPU 显存

GPUDirect RDMA 缩短的路径

第02章 RoCE协议简介

RoCE 是什么，为什么会出现

RoCE 在 AI/GPU 时代的位置

InfiniBand 和 RoCE 的关系

从 InfiniBand 到 RoCEv1、RoCEv2

RoCEv1

RoCEv2

后文为什么使用 RoCEv2

识读 RoCEv2 报文

一条 RC Write 的整体封装

用 Wireshark 对照第 16 帧

抓包中的管理流量与 RoCE 数据流量

两个网口分别抓包再合并

第03章英伟达物理交换机环境配置与RoCE测试