大模型推理最烧钱的地方，往往不是「算」而是「重算」——同一个上下文前缀，每次请求都要重新计算一遍 KV Cache。

Mooncake 就是月之暗面（Moonshot AI）给 Kimi 打造的底层推理平台，核心思路一句话：用廉价的海量存储（CPU 内存、SSD、网卡），换掉昂贵的 GPU 重复计算，也就是论文标题里的「Trading More Storage for Less Computation」。

它交出的成绩单：

• 真实业务负载下，让 Kimi 多扛 75% 的请求
• 某些模拟场景下，吞吐量最高提升 525%
• 支撑 Kimi K2 在 128 张 H200 GPU 上跑出预填充 224k tokens/s、解码 288k tokens/s
• 拿下 FAST'25（USENIX）最佳论文奖，2024 年 11 月核心组件开源，已进 vLLM、SGLang、LMCache、TensorRT LLM 等主流生态

一、Mooncake 是什么：背景与出身

Mooncake 是 Kimi 大模型服务背后的 serving platform（推理服务平台），由月之暗面（Moonshot AI）联合清华大学 MADSys 实验室等产学研力量开源，阿里云、华为存储、面壁智能、趋境科技等共同参与共建。

时间	事件
2024 年 6 月	发布设计方案与技术报告
2024 年 11 月 28 日	开源核心组件 Transfer Engine（传输引擎）
2025 年 2 月 25 日	获 FAST'25 最佳论文奖
2025 年 3 月 7 日	开源 Mooncake Store（分布式 KV Cache 存储）
2025 年 12 月后	集成进 TensorRT LLM、vLLM v1，加入 PyTorch 生态

论文全名：《MOONCAKE: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot》（arXiv 2407.00079）。这里的「LLMCache」，指的就是这套以 KV Cache 为中心的分布式缓存体系。

二、核心思想：为什么「以存换算」能成立

要理解 Mooncake，先理解 KV Cache 的两个事实：

1. KV Cache 极占显存：长上下文 + 多轮对话时，Key/Value 缓存会吃掉大量 VRAM，成为吞吐瓶颈
2. KV Cache 高度可复用：多轮对话的前缀、相似请求、批处理请求，KV Cache 大量重复，重复计算是纯浪费

Mooncake 的做法是：把 KV Cache 从 GPU 显存里「搬出来」，放到由 CPU 内存、NVMe SSD、RDMA 网卡组成的分布式缓存池里，需要时再用高速网络零拷贝地「送回来」。这样：

• GPU 只做最贵的矩阵运算，不再被缓存占满
• 缓存命中时，省掉的是整段 Prefill 重算
• 存储比算力便宜一个数量级，天然划算

三、架构解析：PD 分离 + 多级缓存池

Mooncake 是一套以 KVCache 为中心的分离式（disaggregated）架构，分三块：

模块	职责
Prefill 节点池（预填充）	处理新 prompt，生成 KV Cache
Decode 节点池（解码）	逐 token 生成，复用 KV Cache
分布式 KVCache 池	用 CPU DRAM / SSD / NIC 搭建的多级缓存池

其中「PD 分离」是精髓：预填充是计算密集型，解码是访存密集型，两者资源需求截然不同。拆开后各自独立扩缩容，再通过高速网络把 KV Cache 从 Prefill 侧搬到 Decode 侧，避免「忙的忙死、闲的闲死」。

存储侧则是多级缓存层次：

VRAM（GPU 显存，最快最贵）
   ↕
DRAM（CPU 内存，快且便宜）
   ↕
NVMe SSD（大容量，性价比高）
   ↕
对象存储（慢但便宜，用于回刷）

越往上越快越贵，Mooncake 让热数据待在高速层，冷数据下沉到便宜层，整体成本大幅摊薄。

四、三大核心组件

1. Transfer Engine（传输引擎）

这是 Mooncake 最先开源的组件，也是整套系统的「搬运工」：

• 零拷贝：基于 GPUDirect RDMA，数据直接从发起方 DRAM/VRAM 传到目标方 DRAM/VRAM，不经 CPU 内存中转
• 多网卡聚合：单机多 NIC 并行传输，吃满聚合带宽
• P2P Store：点对点高性能版本，已开源为 checkpoint-engine
• 提供 C/C++ 与 Python API，已被 vLLM、SGLang、LMDeploy、TensorRT LLM、NIXL 等集成

2. Mooncake Store（分布式 KV Cache 存储）

基于 Transfer Engine 构建的分布式 KVCache 存储层，提供对象级数据服务：

• 基础操作：Get / Put / List / Del
• Replicate：动态配置复制策略
• 原子写入：Get 读到的永远是一致的版本
• 条带化并行 I/O：大对象切分后多网卡并行传输
• 支持多种回刷（flush）模式、动态增删缓存资源

3. Master 与 Conductor（控制面）

• Master 节点：集中管理「对象 → VRAM/DRAM/NVM 缓冲区」的映射，驱动数据搬运
• Conductor：中央调度器，负责资源编排与请求调度
• 托管池缓冲节点：提供存放对象的 DRAM 空间

五、性能表现：数据说话

指标	数据
真实负载请求提升	Kimi 多处理 75% 请求（同时满足 SLO）
模拟场景吞吐提升	最高 525%（长上下文场景尤为明显）
Kimi K2 部署（128×H200）	预填充 224k tokens/s，解码 288k tokens/s
checkpoint-engine	约 20 秒完成数千张 GPU 上 1T 参数模型更新
论文奖项	FAST'25 最佳论文

关键点：上下文越长、复用越多，Mooncake 的收益越大——这正是 Kimi 主打超长上下文的底气之一。

六、开源生态：它已经不是「Kimi 私房菜」

开源后，Mooncake 迅速成为主流推理生态的「标准组件」：

框架/项目	集成情况
vLLM	支持 Transfer Engine，v1 作为 KV 连接器
SGLang	支持 Transfer Engine + Mooncake Store 作为分层 KV 后端
LMDeploy	成为 PD 解耦后端
TensorRT LLM	集成 Transfer Engine
LMCache	支持 Mooncake Store 作为远程连接器
vLLM-Ascend	支持昇腾 NPU 上的 KV 缓存注册与 PD 分离
PyTorch 生态	2026 年 2 月加入

七、澄清：Mooncake 和 LMCache 不是一回事

名字容易混，这里说清楚：

• Mooncake：月之暗面 + 清华 MADSys 的以 KVCache 为中心的分离式推理平台，重点在 PD 分离 + 分布式 KV Cache 池 + RDMA 传输
• LMCache：另一个独立的 KV Cache 管理库（源于 UC Berkeley/Chicago 等），侧重缓存复用与分层存储

两者是互补关系：LMCache 可以把 Mooncake Store 当作远程缓存后端来用，Mooncake 也把 LMCache 列为官方集成对象。

八、适合哪些场景

场景	为什么适合 Mooncake
超长上下文对话（Kimi 类产品）	KV Cache 复用率高，缓存收益最大
多轮对话 / 客服 / Agent	前缀高度重复，省掉大量 Prefill
大规模批量推理	共享前缀缓存，吞吐提升明显
PD 分离部署（推理引擎团队）	独立扩缩容，资源利用率更高
多卡 / 多机集群	RDMA + 多网卡零拷贝搬运
需降本的长上下文服务	以存换算，成本显著摊薄

九、落地建议（五条）

1. 先想清楚复用率：有大量重复前缀（多轮对话、共享 system prompt）才值得上
2. 从 Transfer Engine 上手：官方最先开源、生态最成熟，vLLM/SGLang 都有一键集成
3. 存储分层别贪多：先跑通 VRAM + DRAM 两级，再按需加 SSD
4. 网络是命门：优先 RDMA / GPUDirect RDMA，普通以太网会吃掉大半收益
5. 关注开源节奏：项目活跃，建议跟随官方 release 与各推理框架的集成状态

十、写在最后

Mooncake LLMCache 的价值，不在于它发明了什么新算法，而在于它换了个角度看问题：既然 KV Cache 会重复、又占显存，那就把它当成一种「可流动、可缓存、可跨机搬运」的资产，用便宜的存储和高速网络去替代昂贵的重复计算。

对做推理服务的人来说，这套「以存换算」的思路，比 Mooncake 本身更值得记住。

关于向量云：把缓存红利吃到最大

聊完 KV Cache，就绕不开「缓存降本」这件事。向量云（向量云南京科技有限公司）是面向大模型应用落地的技术服务型企业，依托字节跳动火山方舟能力，为合作方提供低折扣模型 Token、可独立部署的运营支撑平台及全链路运营支持。

向量云能力	说明
官方授权接入	火山方舟官方授权，提供官方 API 与官方 Key
低折扣 Token	专属折扣价，用量越大越划算
独享接入点	独立接入点，配额与稳定性更有保障
缓存隔离降本	缓存隔离机制，把缓存命中红利吃到最大
计费灵活	按量计费、即用即扣、不设账期，注册充值 10 元起
协议兼容	OpenAI 兼容协议，业务代码几乎零改动

接入方式：注册后获取官方 API Key，把 base_url 指向向量云接入点即可直接调用火山方舟官方模型——缓存命中的省钱逻辑，在这里可以直接落到账单上。