字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)今日宣布推出全新的稀疏模型架構(gòu) UltraMem。該架構(gòu)有效解決了 MoE(專家混合)推理時(shí)的高額訪存問(wèn)題，使得推理速度較 MoE 架構(gòu)提升了2-6倍，推理成本最高可降低83%。

　　UltraMem 通過(guò)將計(jì)算和參數(shù)解耦，在保證模型效果的前提下顯著優(yōu)化了推理性能。實(shí)驗(yàn)結(jié)果顯示，訓(xùn)練規(guī)模達(dá)2000萬(wàn) value 的 UltraMem 模型在同等計(jì)算資源下實(shí)現(xiàn)了業(yè)界領(lǐng)先的推理速度和性能，為構(gòu)建數(shù)十億規(guī)模 value 或 expert 開(kāi)辟了新路徑。

　　此外，UltraMem 的 Scaling Law 研究表明其具備優(yōu)異的擴(kuò)展特性，并且在常見(jiàn) batch size 規(guī)模下，其訪存成本幾乎與同計(jì)算量的 Dense 模型相當(dāng)。這一創(chuàng)新有望大幅降低大規(guī)模語(yǔ)言模型(LLM)的推理成本，提高處理效率。