2. 技能映射:SRE 已有的 vs 需要补的
假设的读者背景:SRE,具备 CKA(K8s 管理员)和 CKS(K8s 安全)水平。下表中 K8s 相关两行按“已具备”处理,缺口只剩 GPU 专属的部分。
| 维度 | 典型 SRE 已具备(可迁移) | 缺口(需要补) | 补齐难度 |
|---|---|---|---|
| Linux / 内核 / 网络 | 系统调优、TCP/IP、排障方法论 | PCIe 拓扑、NUMA 亲和、nvidia-smi topo -m、IOMMU / ACS 对 P2P 的影响 |
★★ |
| K8s(✅ 假设已具备 CKA 水平) | 集群搭建与升级、调度、网络、存储、排障,路线中不安排 K8s 基础学习 | 只剩 GPU 专属部分:device plugin / CDI、GPU Operator、time-slicing / MIG / MPS、DRA(动态资源分配)、gang scheduling(Volcano/Kueue/KAI)、拓扑感知调度、LeaderWorkerSet | ★★ |
| K8s 安全(✅ 假设已具备 CKS 水平) | RBAC、Pod Security、NetworkPolicy、镜像供应链、运行时安全 | 迁移到 GPU 多租户场景:time-slicing 没有显存和故障隔离(MIG 才有硬件隔离);GPU Operator / device plugin 需要特权组件;大模型镜像和权重文件的供应链校验 | ★ |
| 监控与可观测 | Prometheus/Grafana、告警治理、SLI/SLO | DCGM 指标(SM 利用率、显存、ECC、XID、NVLink);推理 SLI(TTFT、TPOT、吞吐、排队);训练指标(MFU、ETTR) | ★★ |
| 故障处理 / On-call | 应急、止损、复盘、SOP | GPU 掉卡、XID 79/48/63 等错误、NCCL hang/timeout、慢节点、Checkpoint 恢复 | ★★★ |
| 容量与成本 | 容量规划、资源治理 | 显存估算(参数量×精度+KV Cache)、每百万 token 成本、GPU 碎片 | ★★ |
| 网络 | 数据中心网络、负载均衡 | RDMA 原理、IB vs RoCEv2、PFC/ECN 无损网络、GPUDirect RDMA、NVLink/NVSwitch、AllReduce 算法 | ★★★★ |
| 存储 | 分布式存储基础 | 并行文件系统(Lustre/GPFS)、JuiceFS/CPFS、Checkpoint 高吞吐写入、模型文件分发 | ★★★ |
| AI 常识 | —(零基础) | Transformer、训练 vs 推理、并行策略(DP/TP/PP/EP)、量化、KV Cache、continuous batching | ★★★(只要求理解,不要求做算法) |
| 编程 | Python/Go/Shell 自动化 | 读得懂 PyTorch 训练脚本、torchrun、vLLM 配置和指标 |
★★ |
| 国际化/出海经验(如有) | 多地域、合规、海外云 | —(这是加分项:出海 AI 业务、海外 GPU 云如 CoreWeave/Lambda、多地域推理容灾。米哈游 JD 明确把“多地域服务容灾”列为优先条件) | — |
一句话:SRE 转 AI Infra,缺的不是 SRE 能力,也不是 K8s 能力,而是 GPU 这层硬件与通信知识、推理引擎的运维经验,以及足够的 AI 常识,用来和算法、框架团队沟通。