能训练但有边界显存不能跨卡相加单卡装不下的大模型必须靠并行策略切分到多卡而 5090 没有 NVLinkPCIe 卡间通信会成为吞吐的主要瓶颈。租 8 张 5090是不是就有 256GB 显存能训练 70B 模型了这是多卡租用中最常见、也最容易踩坑的设想。它同时撞上两个硬件事实每张 GPU 的显存是独立的物理空间不能直接合并RTX 5090 不支持 NVLink多卡通信只能走 PCIe。先把结论放在前面你的任务多卡 RTX 5090 的适用性每张卡独立跑任务多实验并行、批量生成、多用户推理适合卡间几乎不通信单卡装得下的模型多卡做数据并行加速可行是消费级多卡的主场模型单卡装不下靠 FSDP/ZeRO 分片到多卡能启动但 PCIe 通信占比高吞吐需要实测评估张量并行方式训练或推理大模型不建议作为主要策略对卡间带宽要求最高70B 级模型全参数训练直接评估数据中心多卡平台NVLink/NVSwitch下面按显存为什么不能合并 → 多卡训练怎么拆模型 → PCIe 差在哪 → 能做什么、不能做什么的顺序展开。一、为什么两张 5090 不等于 64GB 显存每张 GPU 的显存是一块独立的物理存储有自己的地址空间。一张卡上的计算核心不能像访问本卡显存那样直接读写另一张卡的显存——跨卡数据经 PCIe 路径传输是否支持 GPU P2P、是否经过 PCIe 交换芯片或跨 CPU 根复合体取决于整机拓扑。这条路的带宽与显存本身相差一个数量级以上5090 显存带宽 1792 GB/sPCIe 5.0 x16 理论双向带宽约 128 GB/s实际有效带宽更低。深度学习框架同样按每张卡一份的方式分配张量模型某一层的权重、某个算子的输入输出默认必须完整放在一张卡上。所以两张 5090 64GB只在一种意义上成立——两块独立的 32GB。要让一个模型真正用到多张卡的显存必须显式地把它切开。显存合并的三条真实路径路径怎么做代价不合并模型装进单卡量化、LoRA 等方法压缩需求模型规模受单卡 32GB 限制切分张量并行 / 流水线并行 / FSDP 分片把模型摊到多卡每步产生卡间通信PCIe 下吞吐打折卸载ZeRO-Infinity 等方案把训练状态放到 CPU 内存 / NVMe通信与换页开销更大吞吐进一步下降这解释了一个常见误会多卡的价值不在显存相加而在并行。当需要突破单卡显存时模型或训练状态分片、卸载会以额外的通信、调度或换页开销换取显存空间DDP 这类数据并行则主要用于扩展数据吞吐并不降低单卡模型状态占用。通信走什么通道决定了这条路走不走得快。二、多卡训练有哪几种方式分别怎么用显存、怎么通信四种主流并行策略的对比策略怎么切能否突破单卡显存通信特征数据并行DDP数据切模型每卡一份完整副本不能每个训练步做一次梯度同步AllReduce张量并行TP把每一层的算子和权重切开分到多卡能每层前向、反向都伴随集合通信最频繁流水线并行PP按层把模型分成若干阶段各卡负责一段能仅在阶段边界传递激活值通信频率通常低于 TP实际传输量取决于模型结构、序列长度、微批设置和切分方式并存在流水线气泡FSDP / ZeRO-3把参数、梯度、优化器状态分片到多卡ZeRO 各阶段分片范围不同能计算中伴随 AllGather / Reduce-Scatter通信量高于 DDP数据并行不解决装不下。DDP 模式下每张卡持有一份完整的模型副本和各自的优化器状态只是各自处理不同批次的数据再用 AllReduce 同步梯度PyTorch 官方教程口径。这意味着模型必须先装进单卡多卡才有意义。哪些模型单卡装得下边界在《QLoRA 微调选 4090 还是 5090》里拆过本文不重复。对装得下的模型DDP 通信集中在每步梯度同步频率和模式都相对固定但梯度量较大、单步计算较短或拓扑受限时PCIe 仍可能成为瓶颈。它仍是消费级多卡中常用的训练方式之一。张量并行是显存切分的直接手段也是对互联要求最高的。TP 把注意力和 MLP 层的矩阵乘法切开、多卡协同完成同一层的计算源自 Megatron-LM 论文PyTorch 官方教程有完整说明。代价是每一层的前向和反向都伴随集合通信通信次数随模型深度线性增长。PyTorch 教程明确指出张量并行通常在单机内工作A100/H100 的常见 HGX 系统为 8 GPU 域并通过 NVLink/NVSwitch 提供高带宽互联。张量并行对这类互联的依赖来自其逐层集合通信的频率。流水线并行通信频率低牺牲的是利用率。PP 按层切阶段卡间只在阶段边界传递激活值通信频率低于 TP但激活传输量仍受模型结构、序列长度和微批设置影响不能假设对带宽不敏感。代价是流水线气泡部分卡在等待和阶段划分、负载均衡的调参成本。FSDP / ZeRO-3 是数据并行的分片方案。FSDP 与 ZeRO-3 都会把参数、梯度、优化器状态分片到多卡让单卡装不下的模型可以训练计算中会伴随 AllGather / Reduce-Scatter 等集合通信。ZeRO-1 只分片优化器状态ZeRO-2 在此基础上分片梯度ZeRO-3 再分片参数分片范围逐步扩大。ZeRO-Infinity 还能把训练状态卸载到 CPU 内存和 NVMe进一步换显存吞吐代价更大。推理同理。vLLM 官方文档的路径是单卡装得下就不必分布式单机多卡用张量并行跨机再加流水线并行。也就是说想让一个 70B 模型摊到多张 5090 上推理同样绕不开张量并行和它的通信开销。三、没有 NVLink 的多卡 5090卡间通信差多少NVIDIA 官方规格页对 RTX 5090 的标注很直接PCI Express Gen 5支持NVLink不支持。RTX 5090 仅以 PCIe 显卡形态提供——多卡之间交换数据只有 PCIe 一条路。带宽差距的量级理论 / 官方口径互联方式带宽说明A100 SXMHGX/NVSwitch 系统600 GB/s单 GPU NVLink 聚合双向带宽8 卡经 NVSwitch 全互联A100 NVLink 桥接器PCIe 版 A100600 GB/s单 GPU NVLink 聚合双向带宽桥接最多连 2 卡A100 PCIe Gen4 x1664 GB/sA100 的 PCIe 链路NVIDIA 官方数据RTX 5090 PCIe 5.0 x16双向合计约 128 GB/s每通道 32 GT/s 折算的理论峰值实际有效带宽更低三点解读第一PCIe 5.0 比 PCIe 4.0 快一倍但仍约为 NVLink 的五分之一。按满速理论值算PCIe 5.0 x16 双向合计约 128 GB/s与 A100 的 600 GB/s单 GPU NVLink 聚合双向带宽相比相差约 4.7 倍。而且 128 GB/s 是单链路理论值——多卡 PCIe 系统里卡间通信要经过主板、CPU 根复合体或交换芯片多对卡同时通信时共享链路实际可用带宽可能进一步打折整机给每张卡分配的 PCIe 通道是否满速 x16也因平台而异。租用多卡实例时这些拓扑问题值得向平台确认。第二通信方式决定差距是否要紧。回到第二节的四种策略DDP 每步集中同步梯度通信频率低于 TP但梯度量较大、单步计算较短或拓扑受限时PCIe 仍可能成为明显瓶颈。TP 每层都通信通信时间随模型深度累积同样的切分方案在 NVLink 平台和 PCIe 平台上的吞吐差距会非常明显。具体折损多少取决于模型结构、并行度、框架实现和批次大小没有统一倍数应以实际配置压测为准。第三5090 选 PCIe 还是 SXM这个问法本身要修正。SXM 是 A100、H100、H200 等数据中心 GPU 常见的模组形式常用于配备 NVLink/NVSwitch 的 HGX 等系统RTX 5090 不提供 SXM 形态。想要 SXM 级别的互联能力选择的不是 5090 的某个版本而是数据中心卡。四、多卡 5090 到底能训练什么把前三节收拢成按任务的边界表训练任务多卡 5090 适用性原因多个独立实验并行不同模型 / 超参各占一卡适合任务级并行卡间不通信批量内容生产生图、生视频任务分摊到各卡适合同上7B14B 级微调QLoRA / 部分参数数据并行加速可行模型单卡装得下DDP 通信低频单卡装不下的模型FSDP / ZeRO 分片训练能启动吞吐需实测分片通信量大PCIe 通信占比高大模型张量并行训练如 70B 切到 8 卡不建议每层通信对卡间带宽要求最高70B 级全参数训练不可行转数据中心平台见下方粗算关于最后一行给一个粗算混合精度 Adam 优化器的常见内存口径权重 梯度 优化器状态合计约每参数 16 字节70B 参数的全参数训练需要约 1.1TB 显存——是 8 张 5090 总显存256GB的四倍以上即使 8 张 A100 80GB合计 640GB也装不下需要跨节点分片或更大规模的集群。这不是5090 不够努力而是任务量级本身的问题PyTorch 官方教程引用的量级是Llama 2 70B 的预训练用了约 2000 张 GPU、耗时约 35 天。中间档也要分清能启动和值得跑量化或 LoRA 类训练在多卡 5090 上的分片方案如 QLoRA FSDP技术上存在但通信占比、实际吞吐和收敛配置都要以目标框架的实测为准。多卡 5090 最稳的用法其实是任务级并行。这也是很多多卡整机的真实用途不是把一个模型切到 8 张卡而是 8 张卡各自跑独立的微调实验、推理服务或生成队列。此时卡间通信几乎为零每张卡的 32GB 都被完整利用多卡的性价比反而最高。五、什么时候应该转向数据中心多卡平台三个信号出现任何一个就应该把 A100 SXM、H100、H200 这类数据中心多卡平台放进比较范围模型单卡装不下且训练是通信密集型张量并行为主或 FSDP 分片度较高——NVLink/NVSwitch 就是为这类负载设计的。全参数训练 70B 级模型——显存粗算直接超界见第四节。需要 8 卡以上的高带宽互联——PCIe 版 A100 配 NVLink 桥接器也只能连 2 卡8 卡全互联需要 SXM 版HGX 平台更大规模还要 InfiniBand 等节点间网络。反过来如果你的任务是单卡装得下的模型 数据并行加速或者多个独立任务并行多卡消费级整机仍然是性价比优先的选项不必为用不到的 NVLink 付费。常见问题Q1两张 5090 的显存能叠加成 64GB 吗不能直接叠加。每张卡的显存是独立地址空间一个模型要么整体装进单卡要么靠张量并行、流水线并行或 FSDP/ZeRO 分片切到多卡——切分后每一步都会产生 PCIe 卡间通信。Q2多卡 5090 训练会自动变快吗不会自动取决于并行方式。任务级并行各卡独立任务吞吐可近似叠加数据并行模型单卡装得下扩展性通常较好切分类策略张量并行、FSDP 分片受 PCIe 通信限制加速比需要实测。Q35090 支持 NVLink 吗有没有 SXM 版本都不支持 / 不存在。NVIDIA 官方规格页标注 RTX 5090 的 NVLink 为No且仅以 PCIe 显卡形态提供。SXM 是 A100、H100、H200 等数据中心 GPU 常见的模组形式常用于配备 NVLink/NVSwitch 的 HGX 等系统。Q4PCIe 5.0 能替代 NVLink 吗理论带宽约为 A100 NVLink 的五分之一PCIe 5.0 x16 双向合计约 128 GB/sA100 单 GPU NVLink 聚合双向带宽为 600 GB/s实际多卡拓扑还可能进一步打折。数据并行的梯度同步相对 TP 更容易被计算重叠但影响仍需结合梯度量、单步计算时长和拓扑压测判断张量并行的逐层同步则更容易暴露互联瓶颈。Q58 张 5090 能训练 70B 模型吗全参数训练不行按混合精度 Adam 粗算约需 1.1TB 训练状态显存8 张 5090 合计 256GB。量化或 LoRA 类方案理论上可分片启动但通信与吞吐需按目标框架实测70B 级训练任务应直接评估 A100 SXM / H100 类 NVLink 平台。文中显存估算为理论粗算多卡训练的实际吞吐与加速比取决于模型结构、并行策略、框架实现与整机拓扑应以实际配置压测为准。立方云是杭州网鼎科技旗下专注GPU算力租赁的边缘算力平台提供多种GPU实例以及裸金属服务。