GPU 服务器 · 显存与带宽

GPU 算力服务器 HBM 详解：
为什么显存带宽才是大模型的命门

从 TSV 三维堆叠到 HBM4，讲清显存的「容量账」与「带宽账」，以及 8 卡服务器怎么配

买 GPU 服务器时，大家第一眼看的都是「多少 TFLOPS」，但真正卡住大模型的往往不是算力，而是显存——装不下模型（容量不够），或者装下了却跑不快（带宽不够）。

撑起 GPU 显存的就是 HBM（High Bandwidth Memory，高带宽内存）。它把 DRAM 芯片像盖楼一样垂直堆叠，用上千根「电梯」（TSV 硅通孔）连起来，从而在低频率下做出 TB/s 级带宽。本文讲清 HBM 的原理、演进、供应链，再落回到「8 卡服务器显存到底怎么算账」。

HBM 是什么

一、HBM 是什么：把显存「盖成楼」

1. 核心原理：三维堆叠 + 硅通孔

传统 GDDR 显存是「平铺」的：一颗芯片几百个引脚，靠提高频率挤带宽。HBM 换了个思路——往上盖：

结构	作用
多层 DRAM die	4~16 层 DRAM 芯片垂直堆叠（4-hi / 8-hi / 12-hi / 16-hi）
TSV（硅通孔）	在芯片上打数千个垂直微孔并填充铜，层与层之间直接导通，信号路径极短
Base die（逻辑基底）	堆叠最底层，负责与 GPU 的接口控制与 PHY
超宽总线	每栈 1024-bit（HBM4 扩展到 2048-bit）位宽，靠「宽」而不是「快」取胜

一句话对比：GDDR 是 32-bit 位宽 + 高频，HBM 是 1024-bit 位宽 + 低频。用宽总线在低时钟下就做出高带宽，功耗和发热也更低。

2. HBM vs GDDR / DDR

维度	HBM3e	GDDR6X	DDR5
位宽	1024-bit（单栈）	32-bit（单颗）	64-bit（单通道）
单栈/单颗带宽	~1.2 TB/s	~100 GB/s 级	~50 GB/s 级
功耗效率	最优（低频率 + 短路径）	中	差
体积	最小（垂直堆叠）	中	大
成本	最贵	中	低
典型场景	AI 训练/推理 GPU	游戏显卡	CPU 主存

3. 2.5D 封装：HBM 与 GPU「同住一个屋檐」

HBM 不能单独工作——它必须和 GPU 裸片（die）一起放在硅中介层（Silicon Interposer）上，通过中介层的高密度布线互通。这就是 2.5D 封装，台积电的 CoWoS 是最典型的实现。

这也是 HBM 产业的关键约束之一：不是买到 HBM 就能造卡，还得抢到先进封装产能。

代际演进

二、代际演进：十年六代，带宽涨了十几倍

代际	年份	单栈容量	单栈带宽	引脚速率	位宽
HBM1	2013	1GB（4-hi）	128 GB/s	1 Gbps	1024-bit
HBM2	2016	4~8GB	256 GB/s	2 Gbps	1024-bit
HBM2E	2018	8~16GB	~460 GB/s	3.6 Gbps	1024-bit
HBM3	2022	16~24GB	~819 GB/s	6.4 Gbps	1024-bit
HBM3E	2023	24~36GB	~1.2 TB/s	9.6 Gbps	1024-bit
HBM4	2025~2026	36~48GB（16-hi）	~1.6~2 TB/s	8~10 Gbps	2048-bit

三条演进主线：

堆叠层数：4-hi → 8-hi → 12-hi → 16-hi，层数越多容量越大
引脚速率：1 Gbps → 9.6 Gbps，单根线越跑越快
总线位宽：HBM4 翻倍到 2048-bit——这一代开始「又宽又快」

GPU 侧的显存配置演进

GPU	显存容量	带宽	HBM 配置
V100	32GB	900 GB/s	4 栈 HBM2
A100	80GB	~2.0 TB/s	5 栈 HBM2e
H100	80GB	3.35 TB/s	5 栈 HBM3
H200	141GB	4.8 TB/s	6 栈 HBM3e
B200	192GB	8 TB/s	8 栈 HBM3e
GB200	384GB	16 TB/s	2×B200 + Grace

从 V100 到 B200，容量涨 6 倍、带宽涨近 9 倍——每一次 GPU 换代，本质上是「喂饱算力」的显存换代。

两笔账

三、HBM 为什么是大模型的命门：两笔账

1. 容量账：模型装得下吗

显存要同时装三样东西：模型权重 + KV Cache + 激活值。

权重算例：

70B 模型 FP16：70 × 2 = 140GB
单张 H100（80GB）放不下 → 必须 TP/PP 多卡切分，或量化到 FP8/INT4

KV Cache 算例（每 token）：

KV Cache/token = 2 × n_kv_heads × d_head × n_layers × dtype_bytes

以 70B 级 GQA 模型（8 个 KV 头、128 头维、80 层、FP16）为例：

2 × 8 × 128 × 80 × 2 Bytes ≈ 0.31 MB / token
32K 上下文单请求 ≈ 0.31MB × 32768 ≈ 10 GB

也就是说：一个 32K 上下文的长对话，光 KV Cache 就要吃掉 10GB。并发 10 路就是 100GB——这就是为什么长上下文服务必须上大显存卡，也是 GQA/MLA、KV 量化、前缀缓存这些技术的根本动机。

2. 带宽账：跑得快不快（Memory Wall）

自回归推理的每一步 Decode，都要把全部权重和 KV Cache 从 HBM 搬到计算单元，却只做极少运算。用运算强度（每读 1 字节做了多少次运算）衡量：

这个比值低于拐点（业界常引用约 590）→ 带宽瓶颈
高于拐点 → 才是算力瓶颈

而 Decode 阶段的运算强度远低于拐点——所以：GPU 算力在挨饿，HBM 带宽在拼命搬数据。

token/s 上限算例（单请求、忽略一切开销）：

H100：3.35 TB/s ÷ 140GB ≈ 24 token/s
H200：4.8 TB/s  ÷ 140GB ≈ 34 token/s
B200：8 TB/s    ÷ 140GB ≈ 57 token/s

这解释了三个现象：

大模型推理「慢」是带宽问题，不是算力问题（详见《Prefill 和 Decode》）
H20 这类「低算力 + 大显存 + 高带宽」的卡推理反而好用（算力 148 TFLOPS 但带宽 4.0 TB/s）
大 batch 能摊薄权重读取成本，从而提升吞吐——但长上下文时 KV Cache 读取量又涨回来了

3. 有效带宽还要打折

理论峰值不等于实际可得：MoE 路由导致的不规则访存、频繁的层间搬运，会让有效带宽常跌到峰值的 40% 以下。所以带宽账要再乘一个折扣系数。

4. Memory Wall：算力涨得比带宽快

半导体行业的经典难题：算力（TFLOPS）的增长速度远快于内存带宽（TB/s），两者差距越拉越大。这意味着——越往后，瓶颈越偏向 HBM。这也是 HBM4 要用 2048-bit 位宽、CoWoS 产能被疯抢的根本原因。

制造与供应链

四、HBM 怎么造出来：三大难关

1. 制造难点

环节	难点
TSV 刻蚀与填充	在硅片上打数千个微米级深孔并填充铜，工艺精度要求极高
晶圆减薄与堆叠	每层晶圆要磨到极薄（几十微米）再对齐键合，层数越多越难
良率	一颗 TSV 失效整栈报废——良率是 HBM 成本高企的核心原因
先进封装	必须走 CoWoS 等 2.5D 封装，台积电产能是硬瓶颈

2. 供应链：三家垄断九成

SK 海力士：HBM 市场龙头（份额约 50% 以上），HBM3E 产能长期售罄
三星：垂直整合能力强，正加速追赶
美光：份额较小但技术激进

三家合计垄断 90% 以上的 HBM 份额，且已全部通过下一代平台（HBM4）认证。

3. 供需与价格：AI 时代的「硬通货」

需求端：AI 服务器需求持续扩张，HBM 与通用 DRAM 争夺有限的先进晶圆产能
供给端：新一代产品良率与产出提升需要时间，2027 年前供应预计持续吃紧
价格：HBM3E 价格同比上涨约 20%、产能提前售罄；HBM4 单价较前代高出 60%~70% 仍一货难求
结构性挤占：原厂把七成以上先进晶圆产线优先投产高毛利 HBM，通用存储产能被挤压

结论：HBM 不只是技术问题，更是供应链与成本问题——它直接决定 GPU 的售价、交期，以及「你能否租到卡」。

8 卡显存账本

五、落地实践：8 卡服务器的显存账本

1. 先算显存总池

机型	单卡显存	8 卡总显存	8 卡总带宽
H100 × 8	80GB	640GB	26.8 TB/s
H200 × 8	141GB	1.1 TB	38.4 TB/s
B200 × 8	192GB	1.5 TB	64 TB/s
GB200 NVL72	192GB	13.8 TB（72 卡池）	576 TB/s

2. 能跑多大的模型（粗略口径）

显存	可承载
80GB × 8（640GB）	70B FP16 训练/推理（TP=8）；百亿级模型 FP16 单卡可跑
141GB × 8（1.1TB）	70B 长上下文推理（128K）；百B~千亿级 MoE 推理
192GB × 8（1.5TB）	千亿级模型 FP16 直接加载；大 batch 高并发推理
288GB / 384GB 级	万亿级 MoE（如 DeepSeek 类）推理，长上下文友好

估算公式（推理，含 KV Cache 与框架开销）：

所需显存 ≈ 模型权重 + KV Cache × batch × 上下文长度 + 激活开销(约 10%~20%)

3. 量化：容量与带宽的「双赢」

精度	权重显存（70B）	相对收益
FP16 / BF16	140GB	基准
FP8 / INT8	70GB	容量减半，带宽压力减半
INT4	35GB	容量再减半，但精度损失需评估

量化同时缓解两笔账：容量省一半，Decode 每步要搬的字节也少一半——这也是「小卡跑大模型」方案的核心。

4. 采购建议：先明确「训练卡」还是「推理卡」

场景	优先级
大规模训练	算力（TFLOPS）+ 互联带宽（NVLink）优先，显存够放下 shard 即可
高并发推理	显存容量 + 带宽优先，算力次之（参考 H20 路线）
长上下文服务	显存容量第一（KV Cache 吃显存），配合 GQA/MLA、KV 量化、前缀缓存
万亿 MoE 推理	大显存 + 高带宽 + 快速互联（显存池化，如 NVL72）

落地要点

六、落地设计要点（八条）

先算两笔账：容量账（权重 + KV Cache + 激活）决定能否放下，带宽账决定跑多快
KV Cache 单独算：2 × n_kv_heads × d_head × layers × bytes × 上下文 × 并发，长上下文场景往往是它先爆
带宽要乘折损：MoE 等不规则访存下有效带宽常不足峰值 40%，容量规划留足余量
量化是最划算的杠杆：FP8/INT4 同时降容量与带宽压力，但必须验证精度（尤其微调/对齐阶段）
长上下文优先选大显存卡：141GB/192GB 级别的卡，KV Cache 空间比高算力更实用
训练看算力、推理看显存：采购前先明确场景，别用训练卡思路买推理卡
关注供应链与交期：HBM 产能紧张、价格上行，HBM4 溢价 60%~70%，预算与交期都要留缓冲
显存池化提升利用率：多卡 NVLink 统一寻址（如 NVL72）能让 72 卡显存当一大块用，长上下文与 MoE 收益显著

总结

七、写在最后

HBM 的故事本质上是「喂饱算力」的故事：

技术上：用 3D 堆叠 + TSV + 超宽总线，把带宽做到 TB/s 级
演进上：十年六代，堆叠更高、引脚更快、位宽更宽，HBM4 迈入 2048-bit
经济上：三家垄断九成、CoWoS 封装卡脖子，HBM 成了 AI 时代最硬的通货
工程上：容量决定「能不能跑」，带宽决定「跑多快」——两笔账算不清，买再贵的卡也白搭

记住那句判据：运算强度低于拐点，瓶颈就在带宽，不在算力。当你的推理慢、并发上不去时，先别怪算力——看看 HBM 是不是在拼命搬数据。

关于向量云：大模型落地，把基础设施的复杂性留给我们

显存选型、集群调优、长上下文成本控制，都是持续的基础设施工程。向量云（南京）科技有限公司依托字节跳动火山方舟官方授权，专注大模型应用落地：

向量云能力	说明
官方授权接入	火山方舟官方 API 与官方 Key 直连
低折扣 Token	专属折扣价，用量越大越划算
独享接入点	独立接入点，缓存与配额不被公共池挤占
缓存隔离降本	上下文缓存红利稳定落袋
计费灵活	按量计费、即用即扣、注册充值 10 元起
协议兼容	OpenAI 兼容协议，业务代码几乎零改动

接入方式：注册后获取官方 API Key，把 base_url 指向向量云接入点即可直接调用火山方舟官方模型。

获取 API Key：https://ark.tokenrize.cn/ · 火山方舟官方 API 与 Key 直连，注册即用

一句话总结：容量决定「能不能跑」，带宽决定「跑多快」——HBM 的两笔账，就是大模型算力服务器选型的全部依据。

关于向量云

向量云（南京）科技有限公司

面向大模型应用落地的技术服务型企业，依托字节跳动火山方舟能力，为合作方提供低折扣模型 Token、可独立部署的运营支撑平台及全链路运营支持。

火山方舟官方授权官方 API Key 独享接入点缓存隔离降本低折扣 Token 即用即扣 · 不设账期

常见问题（FAQ）

火山方舟官方 API 与官方 Key 直连 · 向量云 · GPU 服务器 HBM 显存

Q1. HBM 是什么？和普通显存（GDDR）有什么区别？

A. HBM（High Bandwidth Memory）是把多层 DRAM 芯片垂直堆叠、用 TSV 硅通孔连接的高带宽显存。与 GDDR 的核心区别在位宽策略：GDDR 靠 32-bit 窄位宽 + 超高频，HBM 靠 1024-bit（HBM4 达 2048-bit）超宽总线 + 较低频率，因此带宽更高、功耗与体积更优，但成本也高得多，主要用于 AI GPU。

Q2. HBM 为什么必须和 GPU 一起封装？

A. HBM 自身没有传统内存接口，必须与 GPU 裸片通过硅中介层（Silicon Interposer）高密度布线互连——这就是 2.5D 封装（台积电 CoWoS 是典型代表）。所以 HBM 与 GPU 是「同封装共生」关系，先进封装产能不足会直接卡住整卡出货。

Q3. HBM 从 HBM1 到 HBM4 有什么变化？

A. 十年六代，三条主线：① 堆叠层数从 4-hi 到 16-hi，单栈容量从 1GB 到 36~48GB；② 引脚速率从 1 Gbps 到约 9.6 Gbps；③ 位宽在 HBM4 翻倍到 2048-bit。单栈带宽从 128 GB/s 提升到 1.6~2 TB/s，涨了十几倍。

Q4. 为什么说显存带宽是大模型的命门？

A. 因为自回归推理的 Decode 阶段，每生成一个 token 都要把全部权重和 KV Cache 从 HBM 搬一遍，运算强度远低于「带宽/算力」拐点（业界常引用约 590），属于典型带宽瓶颈。粗略估算：H100 的 3.35 TB/s 搬 140GB 权重，理论单请求上限约 24 token/s。所以推理慢往往是带宽问题，而非算力问题。

Q5. 显存容量和带宽，哪个更重要？

A. 分阶段：容量决定「能不能跑」（放不下直接 OOM），带宽决定「跑多快」（决定 token/s 与并发上限）。推理场景下两者都关键——容量不够要切模型或量化，带宽不足则吞吐上不去。长上下文服务中 KV Cache 会吃大量容量，容量优先级更高；短上下文高并发则带宽更关键。

Q6. KV Cache 到底占多少显存？

A. 公式：每 token 占用 = 2 × KV 头数 × 头维度 × 层数 × 精度字节数。以 70B 级 GQA 模型（8 KV 头、128 头维、80 层、FP16）为例约 0.31MB/token，一个 32K 上下文单请求约 10GB，并发 10 路即 100GB。所以长上下文服务必须依赖大显存卡，并配合 GQA/MLA、KV 量化和前缀缓存。

Q7. HBM 为什么这么贵、还经常缺货？

A. 三个原因：① 制造极难——数千个 TSV 微孔，一颗失效整栈报废，良率低导致成本高；② 产能垄断——SK 海力士、三星、美光三家占九成以上份额，扩产需要时间；③ 封装瓶颈——必须走 CoWoS 等 2.5D 封装，产能有限。叠加 AI 需求爆发，HBM3E 价格上涨、产能售罄，HBM4 单价高出前代 60%~70% 仍供不应求。

GPU 算力服务器 HBM 详解：为什么显存带宽才是大模型的命门

一、HBM 是什么：把显存「盖成楼」

1. 核心原理：三维堆叠 + 硅通孔

2. HBM vs GDDR / DDR

3. 2.5D 封装：HBM 与 GPU「同住一个屋檐」

二、代际演进：十年六代，带宽涨了十几倍

GPU 侧的显存配置演进

三、HBM 为什么是大模型的命门：两笔账

1. 容量账：模型装得下吗

2. 带宽账：跑得快不快（Memory Wall）

3. 有效带宽还要打折

4. Memory Wall：算力涨得比带宽快

四、HBM 怎么造出来：三大难关

1. 制造难点

2. 供应链：三家垄断九成

3. 供需与价格：AI 时代的「硬通货」

五、落地实践：8 卡服务器的显存账本

1. 先算显存总池

2. 能跑多大的模型（粗略口径）

3. 量化：容量与带宽的「双赢」

4. 采购建议：先明确「训练卡」还是「推理卡」

六、落地设计要点（八条）

七、写在最后

关于向量云：大模型落地，把基础设施的复杂性留给我们

常见问题（FAQ）

Q1. HBM 是什么？和普通显存（GDDR）有什么区别？

Q2. HBM 为什么必须和 GPU 一起封装？

Q3. HBM 从 HBM1 到 HBM4 有什么变化？

Q4. 为什么说显存带宽是大模型的命门？

Q5. 显存容量和带宽，哪个更重要？

Q6. KV Cache 到底占多少显存？

Q7. HBM 为什么这么贵、还经常缺货？

GPU 算力服务器 HBM 详解：
为什么显存带宽才是大模型的命门