过去几年，全球科技巨头的 AI 竞赛还聚焦于「芯片」本身 —— 比拼谁的计算核心更强大，就像 F1 赛场上对引擎马力的极致追求。而今天，战火已经蔓延到一个更宏大的新维度：系统架构。 当所有顶级玩家都拥有了性能强悍的「V12 引擎」后，人们痛苦地发现，真正的瓶颈已不再是单颗芯片的算力，而是如何将成百上千颗芯片连接起来，形成一个高效协同的整体。这就像将一千辆 F1 赛车同时塞进一条乡间小路，再强的引擎也只能在无尽的「堵车」中怠速轰鸣。 这个「交通堵塞」，就是今天 AI 数据中心面临的最致命瓶颈 —— 通信开销。在大模型分布式训练中，节点间的海量数据同步，常常导致算力利用率骤降。无数斥巨资采购的顶级芯片，大部分时间都在等待数据，而不是在计算。也就是说，AI 行业正面临一场深刻的效率危机。 因此，一个根本性的问题摆在了所有人的面前：如何才能彻底拆除芯片之间的「围墙」，构建一个真正没有堵车的「算力高速公路网」？ 面对这个 AI 下半场的终极考题，华为云给出了自己的答案：CloudMatrix384 超节点。它不是对现有架构的修修补补，而是一次从底层发起的体系重构。其性能强大 —— 配备了 384 个昇腾 NPU 和 192 个鲲鹏 CPU，还配备了全面的 LLM serving 解决方案华为云CloudMatrix-Infer，再搭配华为云专门为其开发的其它基础设施软件，就像是一套专为当今和未来的 AI 打造的「云上高速算力运输系统」，其中不仅有性能强大的计算引擎，也有高速传输数据的通信网络。 CloudMatrix 采用了基于全对等高带宽互联（fully peer-to-peer high-bandwidth interconnectivity）和细粒度资源解耦（fine-grained resource disaggregation）的设计理念，实现「一切可池化、一切皆对等、一切可组合」的架构愿景。体现了华为云重塑 AI 基础设施基础架构的雄心。它的诞生是为了解决 AI 工作负载为数据中心基础设施所带来的一系列挑战，而 CloudMatrix384 则代表了这一愿景和理念的首个生产级实现。 这些术语是什么意思？简单打个比方，我们可以把 CloudMatrix384 看作一个精心设计、高度协同的「超级大脑」。这个大脑拥有 384 个专为 AI 任务设计的昇腾 NPU 以及 192 个处理通用任务的鲲鹏 CPU。NPU 擅长处理复杂的 AI 运算，而 CPU 则负责常规的调度和管理，两者各司其职。 为此，华为给 CloudMatrix384 引入了一套名为「统一总线（UB / Unified-Bus）」的革命性内部网络。我们可以将其理解为一张遍布整个计算大脑且没有红绿灯的「全对等高速公路」。 相较之下，许多传统架构的 AI 数据中心则更像是一个传统的层级森严的大公司。如果市场部要和技术部沟通一个紧急项目，信息需要先上报给市场总监，再由市场总监传递给技术总监，最后才下达到具体执行人。这个过程充满了延迟和瓶颈，就像是节点之间、芯片之间的通信带宽不均衡，效率也就可想而知了。 这就像一个极度扁平化的精英团队，所有专家围坐在一张圆桌旁，可以随时、无障碍地与任何人交流协作，信息传递几乎没有延迟。这种架构特性尤其适合需要大量「专家」紧密协作来完成一项任务的现代大模型（特别是混合专家 / MoE 模型），因为它从根本上解决了 AI 并行计算中最大的瓶颈——通信。 CloudMatrix384 超级节点的对等式硬件架构，具有一个超高带宽的统一总线（UB）平面（用于超级节点内部扩展）、一个 RDMA 平面（用于超级节点间通信）以及一个虚拟私有云（VPC）平面（用于与数据中心网络集成）。 当然，这些都还只是 CloudMatrix384 创新的一部分，其已经发布的技术报告中还有大量值得挖掘的技术细节。对此感兴趣的读者可千万不要错过： 对等式意味着这三个子系统可作为平等且独立的资源池运行，而无需围绕一个中心化实体进行协调。这与传统的以 KV cache 为中心的架构大不一样，后者是将请求调度与缓存的 KV 块的物理位置紧密耦合，增加了调度复杂性并限制了资源分配的灵活性。 通过利用高带宽 UB 互连，华为构建了一个分离式内存池（disaggregated memory pool），可在整个系统中提供共享缓存服务。预填充和解码子系统中的所有 NPU 都可以对等方式直接从该池访问缓存的 KV 数据，并保持统一的带宽和延迟，无论数据最初的计算或存储位置如何。这种设计可将请求调度与数据本地性解耦，从而可以极大简化任务调度逻辑、提高缓存效率、提升整体系统资源利用率。 LEP 的核心原理是聚合大量 NPU 的计算能力和内存带宽，以加速注意力和前馈网络的计算。这种加速的代价是 Token 调度和专家输出组合带来的通信开销增加。然而，CloudMatrix384 的超高带宽 UB 互连可确保这种通信延迟保持在可控范围内，不会成为主要的性能瓶颈。 此外，新提出的 LEP 策略支持极高的专家并行度，例如 EP320，这使得每个 NPU 芯片能够恰好承载 DeepSeek-R1 的一个专家。此配置可最大限度地减少同等级专家之间的串行执行，从而降低了整体 MoE 执行延迟。 经过优化的算子可加速端到端执行，并为 LEP 提供高效的支持。基于微批次的 pipelining 设计可通过重叠两个连续微批次的处理，提高资源利用率和系统吞吐量。INT8 量化可提高计算效率，并显著降低内存带宽消耗。 这些优化与 CloudMatrix384 超节点独特的架构特性（包括 on-chip cube、向量和通信引擎以及高带宽 UB 互连）协同设计，从而最大限度地提高了整体执行效率。 其实早在 2022 年，当整个行业对大模型的未来还看法不一、ChatGPT 尚未问世时，华为就极富远见地坚持并主导了这个 384 卡超大集群的架构愿景。要知道，在当时，还很少人能想象算力需求会爆炸到今天的程度。 其技术报告中写到：「CloudMatrix384 的设计初衷是提升互连带宽和通信效率—— 这些核心功能对于扩展大规模训练和推理工作负载至关重要。DeepSeek-R1 等大规模 MoE 模型的出现验证了这一架构远见，凸显了在现代 LLM 部署中，通信带宽与计算和内存带宽能力同等重要。」 正是这份对技术趋势的深刻洞察和坚持，才造就了华为云 CloudMatrix384 超节点这个超级计算引擎。它就像六百多年前从南京龙江港出发的郑和「宝船舰队」，正航向 AI 的浩瀚大洋。 资料显示，下一代云计算体系架构将是矩阵式的，其核心是「一切皆对等、一切可池化、一切可组合」。本质是让算力、内存、网络像水一样，可按需组成不同类型的资源池，并自由流动在集群内。而这种能力，只有在云上才能淋漓尽致地发挥。因为使用华为云，可以免除自己购买和部署的四大痛点：成本高、利用率不足、部署与调优困难、难以持续受益于新技术。 诸多黑科技加身的华为云 CloudMatrix384 超节点价格相当高 —— 约 800 万美元，如此高的门槛，足以把绝大多数公司关在门外。而这还仅仅是初始成本，后续的机房、电力、散热等一系列运营成本，更是一笔持续的巨大开销。 而华为的昇腾 AI 云服务，巧妙打破了这个门槛。云上算力，可以让公司根据自己的需求租用华为云 CloudMatrix384 超节点的一部分，并且能做到随租随用和按需付费。这能极大地降低使用门槛，让任何规模的公司都有机会体验到顶级 AI 算力的威力。 很多公司斥巨资购买高端算力，却陷入了残酷的效率陷阱。在大模型分布式训练中，节点间的协作会产生通信瓶颈，导致算力利用率从 85% 骤降至 52 %。 更有甚者，受限于集群调度、网络拓扑等能力，很多公司最终只能获得 30% 的集群算力利用率。这意味着公司花重金买来的宝贵资源，在大部分时间里并没有创造价值，如同停在港口「晒太阳」—— 技术人员戏称其为「算力摸鱼」 ，造成了巨大的浪费。 选择云就不一样了。云的本质是共享经济，能实现资源利用率的最大化。华为云通过智能调度，创新地打造了基于训推共池（节点在训练和推理任务间切换 < 5 分钟）方案的「朝推夜训」模式：白天，算力可以服务于需要快速响应的在线推理业务；到了夜晚，闲置的算力则可以无缝切换，用于耗时较长的模型训练任务，让算力 24 小时连轴转，将每一分钱都用在刀刃上。 另外，通过 MatrixCompute 这项黑科技，华为云还实现了资源的「柔性计算」。它就像拆除了资源仓库间的围墙，能将零散的「独轮车」按需组装成「超级集装箱车」或「超跑」。系统会实时监测任务负载，动态调整资源配比，消除资源浪费或瓶颈，单任务资源利用率可提升 40% 至 100%。 其实，就算公司真的选择了购买华为云 CloudMatrix384 超节点，要想真正将其用起来，也仍会面临很多部署与调优方面的困难，包括适配合适的算子和推理框架、配置故障监控与恢复流程等等。此外，超节点自身的运维极其复杂，它采用了大量的光模块，而这种部件故障率高，处理起来对客户来说是个沉重的负担。 通过一系列技术优化，华为云确定性运维服务可以保障超节点运行长稳快恢，包括软硬件协同改进、程级重调度恢复和进程级在线恢复能力优化、训练任务线性度提升、推理故障快恢、超平面故障诊断能力等。比如MatrixContainer可实现「应用 - 基础设施」双向智能协同，能为应用实时分配最优路径，自动实现并行，并行效率业界领先 15% 以上。 这些技术累加下，华为云能做到光模块业务故障影响降低 96%、通用硬件故障万卡 10 分钟级快速恢复、千亿稀疏模型线性度优化达 95%+、千亿 MoE 分布式推理分钟级恢复、10 分钟内恢复网络故障。 此外，华为云还构建了昇腾云脑，其作用是扮演「AI 检修员」。它采用「三层容错」智能运维架构，能做到「1 分钟发现，10 分钟恢复」，将故障恢复时长缩短 50% ，为超节点运行提供长稳保障。 AI 领域的技术可谓日新月异，如果公司选择自己购买和部署华为云 CloudMatrix384 超节点，那么得到的是交付那一刻的硬件和技术能力。随着技术发展，硬件可能会慢慢落后于时代，无法享受到最新的技术红利。 例如，华为云通过分布式QingTian这一架构底座，实现了 CloudMatrix 中的「一切可池化」。它通过创新的Memlink-direct技术，将内存跨主机直接共享，彻底打破「单机内存墙」，构建统一的逻辑内存池。这正是「以存强算」EMS 服务的技术核心，能将首个 token 时延降低 80%。 再如，华为云通过MatrixLink实现了「一切皆对等」。它如同将只能行驶 1 辆车的乡间小路，扩建成 10 车道的高速公路，并配上智能导航系统。通过对组网、协议、通信语义和调度的四层重构，将 NPU 卡间通信带宽提升 32 倍，小包传输时延降低 100 倍，让万卡通信「0」冲突。 综上所述，无论是从成本和利用率，还是从部署调优和技术升级来看，通过华为的昇腾云来获取 CloudMatrix384都无疑是公司奔赴 AI 新大陆的「最优解」。 针对 DeepSeek-R1 等大规模 MoE 模型的特有架构，华为还进行了一些针对性的设计，包括基于昇腾 NPU 的多 token 预测（MTP）优化、使用混合并行化的 MLA 流、基于 CloudMatrix384 的预填充 pipeline 和解码 pipeline 以及 EMS（弹性内存服务）等。 预填充： 好比是 AI 在阅读和理解你的问题。无论你的问题有多长，它都需要尽快读完并消化。解码： 这是 AI 写出答案的过程，它会一个字一个字地生成回复内容。 而在更关键的解码阶段，该系统在 4K KV cache 长度下能维持每 NPU 1,943 个 token / 秒的吞吐量，同时可将输出每个 token 的时间（TPOT）始终保持在 50 毫秒以下，从而实现了每 TFLOPS 1.29 个 token / 秒的效率。 实验表明，CloudMatrix-Infer 可以轻松地在这种需求间权衡。当客户需要极低的延迟，比如要求每个 token 的响应时间必须在 15 毫秒以内时，系统可以通过动态调整，实现每秒 538 个 token 的解码吞吐量，展现了其在不同服务场景下的高度适应性和性能可预测性。 此外，为了让 DeepSeek-V3/R1 等大规模 MoE 模型实现高吞吐量、低延迟的推理，华为还设计并实现了一种用于模型权重和激活值的无训练分层式 INT8 量化方案。该方案可在最大化计算效率和减少内存占用的同时，精细地控制准确度损失。 该优化方案的实验表现也相当不错。在 16 个代表性基准测试中，INT8 量化保持了与官方 DeepSeek-R1 API 相当的准确度。这表明，在昇腾 NPU 上部署的 INT8 量化可有效地保留模型在各种任务中的性能。 AI 时代的浪潮已至，其竞争的核心，早已超越了单纯的芯片比拼，进入了系统架构、软件生态和云服务协同的深水区。谁能率先实现计算、通信、存储三位一体的系统级融合，谁就能定义下一阶段 AI 基础设施的范式。华为云 CloudMatrix384 的出现，正是对这一趋势的最好回应，它所代表的或许正是下一代 AI 数据中心的形态。 在华为 CloudMatrix384 论文中，华为也透露了其更宏大的技术前瞻性，包括更近期的统一 VPC 和 RDMA 平面、扩展到更大的超节点、CPU 的资源分解和池化以及进一步改进 推理系统。这清晰地表明：今天的华为云 CloudMatrix384 超节点，才不过是个起点，前方还有广阔天地，而它也将把百模千态载向广阔天地。
