聊大模型算力，绕不开三个词：Tensor Core（芯片里真正的算力来源）、TFLOPS（算力的度量单位）、Transformer / Self-Attention（吃掉算力的那个模型结构）。

三者的关系一句话就能说清：Tensor Core 是为矩阵乘设计的专用电路，Transformer 的算力 90% 以上是矩阵乘，而 TFLOPS 就是把前两者对上账的计量单位。本文按「芯片 → 指标 → 模型 → 账本」的顺序，把这条链路彻底打通。

一、Tensor Core：GPU 里的「矩阵专用计算单元」

1. 与 CUDA Core 的本质区别

对比项	CUDA Core	Tensor Core
计算粒度	标量（一次一个乘加）	矩阵块（一次一个小矩阵乘加）
编程模型	SIMT，线程级并行	MMA 指令（Warp 级协作）
每周期吞吐	每核约 1 次 FMA	每周期 64 次以上 FMA
擅长场景	通用逻辑、激活函数、逐元素运算	矩阵乘（GEMM）

关键差别：CUDA Core 是「一个线程算一个数」，Tensor Core 是「一个 warp（32 线程）协作完成一小块矩阵乘法」。所以做 GEMM 时，Tensor Core 的吞吐是 CUDA Core 的数量级差异。

2. 混合精度：算得糙一点，快到飞起

Tensor Core 的核心设计是混合精度：

• 输入低精度（FP16/BF16/FP8/FP4）→ 矩阵乘算得快、显存省
• 累加高精度（FP32）→ 结果精度有保障

这样既拿到低精度的速度，又避免误差累积失控。这正是大模型训练能跑起来的前提——纯 FP32 训练慢得无法接受，纯 FP16 又会溢出，混合精度是唯一解。

3. 五代演进：精度一路下探到 FP4

代际	架构（年份）	新增精度	里程碑
第一代	Volta（2017，V100）	FP16	首次引入 Tensor Core，深度学习训练加速
第二代	Turing（2018，RTX 20）	INT8 / INT4	面向推理的低精度整数运算
第三代	Ampere（2020，A100）	TF32 / BF16，2:4 结构稀疏	稀疏跳过零值，吞吐翻倍
第四代	Hopper（2022，H100）	FP8	Transformer 引擎，FP8 训练性能较 FP16 提升约 6 倍
第五代	Blackwell（2024，B200/GB200）	FP4	面向生成式 AI 的海量计算，单芯片约 2080 亿晶体管

三条演进主线非常清晰：

1. 精度持续下探：FP16 → FP8 → FP4，用「更少的比特」换更多的吞吐
2. 矩阵块持续变大：基础 MMA 形状从 4×4×4 一路扩到 256×256，单指令吞吐更高
3. 数据搬运持续解耦：TMA（异步张量内存访问）、TMA multicast 等机制让计算不等数据

4. 为什么 Transformer 是 Tensor Core 的「天作之合」

Transformer 的计算构成极其「偏科」：自注意力 + FFN 几乎全是矩阵乘（GEMM），占比 90% 以上。逐元素运算（LayerNorm、激活）只占极小头。

也就是说：Transformer 把算力需求精准地喂给了 Tensor Core 最擅长的那类运算。这不是巧合——GPU 架构演进与 Transformer 的兴起几乎同步发生（Volta 2017 = Transformer 论文同年），随后每一代都在为 Transformer 加料（Hopper 直接叫 Transformer 引擎）。

二、TFLOPS：算力怎么算、怎么标

1. 先记一个基本换算

一次矩阵乘 [m,k] × [k,n] 的浮点运算量约为：

FLOPs ≈ 2 × m × k × n

每个输出元素要 k 次乘法 + k 次加法 ≈ 2k 次运算，共 m×n 个输出。「2」这个系数（乘+加）在所有估算公式里都会反复出现。

FLOPS = 每秒浮点运算次数；TFLOPS = 万亿次/秒（10¹²）；PFLOPS = 千万亿次/秒（10¹⁵）。

2. 峰值算力是怎么来的

单卡峰值 TFLOPS ≈ SM 数 × 每 SM 的 Tensor Core 数量 × 每周期 FMA 数 × 2 × 主频

厂商标注的「算力」就是按这个上限算出来的理论峰值。

3. 三个「标注陷阱」

看规格书时，同样一张卡会出现好几个数字，务必看清口径：

陷阱	说明
稠密 vs 稀疏	开启 2:4 结构稀疏后理论上可翻倍（如 A100 312 → 624 TFLOPS）。稀疏需模型权重满足 2:4 零值模式，不是白给的
精度不同算力不同	FP32 < TF32 < BF16/FP16 < FP8 < FP4，越低的精度算力越高。比算力必须先对齐精度
整机 vs 单卡	GB200 是「2×B200 + Grace CPU」的超级芯片，宣传数字常是整机口径，别和单卡混着比

4. 主流 GPU 算力速查（公开规格，稠密口径）

GPU	架构	BF16/FP16	FP8	显存	显存带宽	互联
V100	Volta	125 TFLOPS	—	32GB HBM2	0.9 TB/s	NVLink 300 GB/s
A100	Ampere	312 TFLOPS	—	80GB HBM2e	~2.0 TB/s	NVLink 600 GB/s
H100	Hopper	989 TFLOPS	1979 TFLOPS	80GB HBM3	3.35 TB/s	NVLink 900 GB/s
H800	Hopper	989 TFLOPS	1979 TFLOPS	80GB HBM3	3.35 TB/s	NVLink 400 GB/s（互联受限）
H20	Hopper	148 TFLOPS	296 TFLOPS	96GB HBM3	4.0 TB/s	大幅受限
B200	Blackwell	~2.25 PFLOPS	~4.5 PFLOPS	192GB HBM3e	8 TB/s	NVLink 5（1.8 TB/s）
GB200	Blackwell	2×B200 + Grace	—	384GB HBM3e	16 TB/s	NVLink-C2C

数据为厂商公开规格的常见引用值（稠密、不含稀疏）；不同来源口径（稀疏/整机）差异较大，选型请以官方 datasheet 为准。

从这张表能读出一个关键事实：H800 与 H100 算力完全相同，差别只在互联带宽——这直接说明「算力不是全部」。

5. 别只看 TFLOPS：三个同等重要的指标

• 显存容量：决定能放多大规模的模型（KV Cache、激活都吃显存）
• 显存带宽：Decode 阶段的实际瓶颈，就是「读 KV Cache 大赛」（详见《并行通信模式》）
• 互联带宽：多卡通信效率，决定 TP/DP 能扩到多大（详见《通信库》）

H20 就是典型例子：FP16 只有 148 TFLOPS（不到 A100 一半），但显存 96GB、带宽 4.0 TB/s 都很能打——它是为「大显存 + 高带宽的推理」设计的，不是为训练设计的。

6. MFU：从峰值到现实的折扣率

MFU（Model FLOPs Utilization）= 模型实际达到的算力 / 硬件峰值算力。

• 训练 MFU 能到 40%~50% 已属优秀（主流框架 + 良好并行配置）
• 推理 Prefill 阶段 MFU 较高（大矩阵乘，Tensor Core 吃得饱）
• 推理 Decode 阶段 MFU 极低（单 token 小矩阵，纯访存受限）

所以「买卡看 TFLOPS，实际算力要乘 MFU」——这一步不做，容量规划必然翻车。

三、Transformer / Self-Attention 的算力账本

1. Self-Attention 的 FLOPs 构成

注意力公式：

Attention(Q, K, V) = softmax(QK^T / √d_k) · V

以序列长度 n、头维度 d 计，每层注意力主要两项矩阵乘：

步骤	矩阵乘	FLOPs
QKᵀ（算相似度）	[n,d] × [d,n]	2n²d
PV（加权求和）	[n,n] × [n,d]	2n²d
合计		≈ 4n²d

关键结论：注意力算力随序列长度平方增长（O(n²)），这是长上下文成本爆炸的根源（对应《注意力机制》一文的两笔账）。

2. 训练总算力：记住 C ≈ 6PD

工业界最常用的估算公式：

训练总 FLOPs  C ≈ 6 × P × D

• P：模型参数量
• D：训练 token 数
• 6 的来历：前向约 2P（每个参数参与一次乘加），反向约 4P（算权重梯度 + 输入梯度），合计 6P；再乘以 token 数 D

算例：7B 模型训练 1T tokens：

C ≈ 6 × 7×10⁹ × 1×10¹² = 4.2 × 10²² FLOPs

3. 把算力账本闭环：训练要跑多久

有了峰值算力、MFU 和总 FLOPs，就能算出训练时间：

训练时间 T = 6PD / (N × F_peak × MFU)

算例：用 512 张 H100（BF16 峰值 989 TFLOPS）训 70B 模型、200B tokens，设 MFU = 45%：

总 FLOPs   = 6 × 70×10⁹ × 200×10⁹ = 8.4 × 10²²
集群算力   = 512 × 989×10¹² × 0.45 ≈ 2.28 × 10¹⁷ FLOPS
训练时间   ≈ 8.4×10²² / 2.28×10¹⁷ ≈ 3.7 × 10⁵ 秒 ≈ 4.3 天

这就是「算力账本」的威力：P、D、N、F、MFU 五个数一填，时间就出来了——反过来也能估算需要多少张卡。

4. 推理的算力账：2P + 注意力项

推理每生成一个 token 的前向算力约：

每 token FLOPs ≈ 2P + 注意力项（随上下文长度增长）

• 短上下文：2P 主导，算力需求正比于模型参数量
• 长上下文：注意力项（O(n²)）逐渐反超——这就是为什么长上下文推理既贵又慢

5. 算术强度与 Roofline：为什么会「算力用不满」

算术强度（Arithmetic Intensity）= FLOPs / 访存字节数。Roofline 模型给出两条墙：

• 算力墙：算术强度高 → 受 FP16 峰值算力限制（Tensor Core 吃得饱）
• 带宽墙：算术强度低 → 受显存带宽限制（Tensor Core 在挨饿）

对应到推理两个阶段：

阶段	算术强度	瓶颈	Tensor Core 利用率
Prefill	高（大 batch × 长序列的矩阵乘）	算力墙	高，MFU 可观
Decode	极低（每 token 只做 1×d 小矩阵，却要读整个 KV Cache）	带宽墙	极低，算力大量空转

所以：大 batch 能救 Decode 的 MFU（把多个请求的 token 拼成大矩阵），但会拉高延迟——这是推理引擎调度的核心权衡。

四、三者闭环：一张图记住

Tensor Core（硬件）  →  提供 TFLOPS（度量）
        ↑                       ↓
   为 GEMM 而生  ←——  Transformer / Self-Attention（需求）
                       90% 算力是 GEMM

• 硬件侧：Tensor Core 把矩阵乘做到极致，精度逐代下探（FP16→FP4），矩阵块逐代变大
• 指标侧：TFLOPS 标注理论峰值，必须看清稠密/稀疏、精度、单卡/整机三个口径，再乘 MFU 得实际
• 模型侧：Transformer 的算力几乎全是 GEMM，注意力项 O(n²)，训练总量 C ≈ 6PD

五、落地设计要点（八条）

1. 对齐口径再比算力：比较 GPU 必须先统一「精度 + 稠密/稀疏 + 单卡/整机」，否则数字毫无意义
2. 算 TFLOPS 要乘 MFU：训练按 40%~50% 估，推理 Prefill 高、Decode 极低，分阶段算
3. 背下 C ≈ 6PD：5 个数（P、D、N、F、MFU）就能估训练时间与卡数，容量规划先算账
4. 训练看算力 + 互联：TP 需要 NVLink 支撑，纯算力高但互联弱的卡（如 H800）训练效率会打折
5. 推理看显存 + 带宽：Decode 是访存瓶颈，大显存 + 高带宽（如 H20 路线）比高算力更实用
6. 长上下文单独算账：注意力 O(n²)，超过 32K 后算力与显存成本非线性上升，需评估稀疏/CP 方案
7. 精度换吞吐要有依据：FP8/FP4 能翻倍吞吐，但必须验证精度损失（尤其微调、对齐阶段）
8. 大 batch 提 MFU 但抬延迟：推理服务要在吞吐与首 token/单 token 延迟之间找平衡点

六、写在最后

大模型算力的讨论常常止步于「这张卡多少 TFLOPS」，但真正决定成本的是三段链路是否对齐：

• Tensor Core 决定「能多快做矩阵乘」
• TFLOPS / MFU 决定「理论峰值能兑现多少」
• Transformer / Self-Attention 的 FLOPs 结构 决定「到底需要多少运算」

把 C ≈ 6PD 和 T = 6PD / (N × F × MFU) 这两个公式记住，再配合 Roofline 判断瓶颈在算力还是带宽，你就能在选卡、报价、扩容时，把「感觉很快」变成「算得出多快」。

关于向量云：大模型落地，把基础设施的复杂性留给我们

算力选型、集群调优、推理成本控制，都是持续的基础设施工程。向量云（南京）科技有限公司依托字节跳动火山方舟官方授权，专注大模型应用落地：

向量云能力	说明
官方授权接入	火山方舟官方 API 与官方 Key 直连
低折扣 Token	专属折扣价，用量越大越划算
独享接入点	独立接入点，缓存与配额不被公共池挤占
缓存隔离降本	上下文缓存红利稳定落袋
计费灵活	按量计费、即用即扣、注册充值 10 元起
协议兼容	OpenAI 兼容协议，业务代码几乎零改动

接入方式：注册后获取官方 API Key，把 base_url 指向向量云接入点即可直接调用火山方舟官方模型。