黄色一区二区三区,91精品国产91久久久久,91精品国产99久久久久久

　　大算力的構建不是單點突破,而是一個從硬件到軟件、從算子到存儲、從推理框架到超節點的全棧創新,充分依托了華為的“大雜燴”能力。

　　首先,CloudMatrix384 超節點以全新的計算架構創新,突破性能瓶頸,構筑穩固澎湃的算力根基; CANN昇騰硬件使能,優化算子與高效通信策略,讓云端的算力能夠以最高效的方式被調用和組合;EMS彈性內存存儲打破AI內存墻,突破性地實現“以存強算”, 徹底釋放了每一顆芯片的算力;xDeepServe 分布式推理框架則以極致分離架構Transfomerless讓超節點釋放出更高效算力。

　　作為CloudMatrix384 超節點的原生服務,xDeepServe以Transformerless 的極致分離架構,把MoE大模型拆成可獨立伸縮的 Attention、FFN、Expert三個微模塊,相當于在一臺CloudMatrix384上把“大模型”拆成“積木”,并分派到不同的NPU上同步處理任務。之后,再用基于內存語義的微秒級XCCL通信庫與FlowServe 自研推理引擎把它們重新拼成一個超高吞吐的LLM服務平臺,即Tokens的“超高速流水線”。通過xDeepServe不斷調優,最終實現了從非超節點單卡吞吐600tokens/s至超節點單卡吞吐2400tokens/s的提升。

　　作為硬件加速計算的中間層,CANN包含多個算子庫和和XCCL這種高性能通信庫等組件,共同支撐AI模型的高效運行。其中,XCCL作為專為超節點上的大語言模型(LLM)服務而量身打造的高性能通信庫,能夠充分發揮CloudMatrix384擴展后的UB互聯架構(UB fabric)的全部潛力,為 Transformerless的全面分離奠定了帶寬與時延雙重硬底座。

　　而作為被重構的“去中心”式分布式引擎,FlowServe把CloudMatrix384 切成完全自治的 DP 小組,每個小組自帶 Tokenizer、執行器、RTC 緩存與網絡棧,完全自給自足,做到千卡并發也不“擁堵”。

　　目前,xDeepServe已實現MA分離,而下一步,將把Attention、MoE、Decode全部改成自由流動的數據流,并把同樣的拼圖方法復制到多臺超節點,讓推理吞吐像鋪軌一樣線性延伸,最終或將視線吞吐量的更大突破,讓每塊 NPU 都高效運作,芯片永不排隊,推理永不塞車。

　　目前,華為云MaaS服務已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平臺。

　　華為云積累了大量模型性能優化、效果調優的技術和能力,從而實現“源于開源,高于開源”,讓更多大模型可以在昇騰云上跑得更快更好。以文生圖大模型來說,在輕微損失畫質的情況下,通過Int8量化、旋轉位置編碼融合算子等方式,在在華為云MaaS平臺實現了2倍于業界主流平臺的出圖速度,最大尺寸支持2K×2K。而在文生視頻大模型上,不僅通過量化方式來提速,還通過通算并行等方式,降低延遲與顯存占用,大幅提升視頻生成速度,相較于友商實現了3.5倍的性能提升。華為云Tokens服務在性能、模型適配、效果調優方面的基礎,也讓更多企業能夠快速開發和構建AI Agent。