DeepSeek V4的架构还债链：MoE动态路由、混合注意力与百万上下文背后的工程约束

约束0：起点问题——1M上下文是硬需求，但V3的架构扛不住

V3用MLA（多头潜在注意力）把KV Cache压缩了80-90%，在128K上下文下表现优秀。但到1M呢？

简单算一笔账：V3在128K下的KV Cache约508 GiB（✅技术报告可推导）。线性扩展到1M就是~4000 GiB。单节点8卡H100总共才640GB HBM——连1/6都塞不下。

所以1M上下文不是"把序列长度参数改一下"那么简单。V3的MLA压缩率在128K够用，到1M就不够了。

这决定了V4的第一条架构约束：必须在MLA之上再压缩一个数量级。

约束1→创新1：CSA+HCA混合注意力（还MLA的债）

V4的解法是两级压缩：

CSA（Compressed Sparse Attention）——先过滤，只保留与当前token"值得注意"的KV对。类似读书时先扫目录再精读章节。

HCA（Heavily Compressed Attention）——再压缩，将多个token的KV加权融合为单个压缩token，压缩率高达128倍。

效果确实惊艳：1M上下文下，V4-Pro单token推理只需V3.2的27% FLOPs、10% KV Cache。总KV Cache从~508 GiB降至~58 GiB（8.7倍节省）。

但HCA借了新债：位置信息丢失。

128倍压缩意味着128个token共享同一份KV缓存。RoPE位置编码怎么办？V4用了"反向RoPE"——对注意力输出做逆RoPE修正。

这个解法很巧妙，但它意味着位置信息不是"内置"的而是"后补"的。在极端长上下文场景下，位置修正的精度是隐含的瓶颈。技术报告没有给出不同压缩率下位置精度的消融实验，这是一个未还清的债。

关键洞察：CSA+HCA不是V4的"亮点功能"，而是1M上下文这个硬需求的强制选择。不这么压缩，1M上下文根本跑不起来。而HCA的128倍压缩率本身就是一个超参数——压缩越狠，推理越快，但位置精度和远距离依赖越差。

约束2→创新2：64+细粒度MoE路由（还1M上下文+推理成本的债）

CSA+HCA解决了KV Cache问题，但引入了新问题：1M上下文下的推理FLOPs仍然很高。

V3的MoE是8专家选2个，激活37B参数。如果V4只做大（1.6T参数）但不改MoE结构，1M上下文下的推理成本会爆炸——每个token要计算大量专家的KV。

V4的解法：把8个大专家拆成64+个微专家，每个token动态选10个。

这改变了什么？

1. 参数效率：1.6T总参数但只激活49B（3%），比V3的37B/671B（5.5%）更稀疏
2. 推理成本：每个token只算10个微专家的KV，而非8个大专家
3. 专家精度：微专家各司其职，路由匹配精度更高

路由函数从Sigmoid改为Softplus，引入共享专家隔离机制（通用知识固化，路由熵降40%），负载均衡改为动态偏置调节。

但64+专家借了新债：训练稳定性。

8专家时，偶尔1个专家过载影响不大。64+专家时，路由崩溃的风险指数级上升——MoE层的数值异常值通过路由机制不断放大，形成恶性循环，触发loss spike。

约束3→创新3：mHC+预路由+SwiGLU Clamping（还64+专家的债）

V4用了三招防训练崩溃：

Anticipatory Routing（预路由）：路由网络用滞后1-2步的参数计算路由索引，解耦路由决策和专家计算。避免了"路由因为专家输出的异常值而剧烈震荡"的恶性循环。

SwiGLU Clamping：直接把SwiGLU输出钳制到[-10,10]。简单粗暴但有效。

mHC（流形约束超连接）：把层间信息流约束在学习的流形上，让梯度沿着几何约束的平滑路径传播，而非在层间随机弹跳。报告6-7%训练效率提升。

团队坦诚这些方法的底层机理仍是开放问题。这不是谦虚——万亿MoE的训练稳定性确实没有优雅的通用解。

mHC借了新债：推理时的额外计算。门控参数和流形约束计算在推理阶段约2-3%额外开销，可以忽略。但在训练阶段，每步前向传播多出约5% FLOPs。

关键洞察：如果你只看V4的MoE路由和mHC，会觉得"这是两个独立的创新"。但从约束链的角度看，mHC是64+专家训练的必要条件，不是锦上添花。没有mHC和预路由，64+专家的训练大概率会崩溃。

约束4→创新4：Engram条件记忆（还推理效率+长上下文的债）

CSA/HCA压缩了KV Cache，MoE减少了激活参数，但还有一个浪费：模型用宝贵的推理算力去"回忆"静态知识（法国的首都是巴黎），而不是"思考"（解一道新数学题）。

Engram把静态知识卸载到外部记忆模块，O(1)查找。推理时模型学会"何时查记忆"而非"重新推导"。Needle-in-a-Haystack测试97%准确率（⚠️厂商宣称）。

Engram借了新债：部署架构变复杂了。

V4的推理不再是一个"单模型单进程"的简单服务。你需要：

• 一个高带宽DRAM存储的Engram记忆库
• 模型与记忆库之间的低延迟查询通道
• 不同领域的Engram需要独立维护和更新

这意味着V4的部署门槛显著高于V3。V3你可以直接vLLM一把拉起来，V4你需要额外的基础设施。对于小团队来说，这可能是一个比显存更大的门槛。

约束5→Muon优化器（还万亿参数训练收敛的债）

AdamW在千亿参数尺度下表现良好，但到万亿参数收敛质量开始下降。V4换用Muon——基于矩阵正交化的动量更新。

训练效果好，但生态是问题：Megatron-LM、DeepSpeed、vLLM的第一公民支持都是AdamW。如果你要基于V4微调，Muon的兼容性是潜在坑。目前建议先用AdamW微调，等框架支持成熟再切。

把约束链画出来

1M上下文硬需求 → KV Cache爆炸（约束0） → CSA+HCA压缩（创新1） → 位置信息丢失（新债1）→ 反向RoPE修正（补丁） | 推理FLOPs仍高（新债2） → 64+细粒度MoE（创新2） → 训练稳定性崩（新债3） → 预路由+Clamping+mHC（创新3） → 训练FLOPs+5%（新债4） | 静态知识浪费推理算力（新债5） → Engram条件记忆（创新4） → 部署架构变复杂（新债6）

每一条线都是一个"因为X，所以必须做Y，但Y引入了Z"。V4的架构不是一个"功能清单"，而是一组强耦合的工程约束的解。