初創(chuàng)團(tuán)隊(duì)Mistral AI再次放出一條磁力鏈，281GB文件解禁了最新的8x22B MoE模型。

　　一條磁力鏈，Mistral AI又來(lái)悶聲不響搞事情。

　　281.24GB文件中，竟是全新8x22B MOE模型!

　　全新MoE模型共有56層，48個(gè)注意力頭，8名專家，2名活躍專家。

　　而且，上下文長(zhǎng)度為65k。

　　網(wǎng)友紛紛表示，Mistral AI一如既往靠一條磁力鏈，掀起了AI社區(qū)熱潮。

　　對(duì)此，賈揚(yáng)清也表示，自己已經(jīng)迫不及待想看到它和其他SOTA模型的詳細(xì)對(duì)比了!

　　靠磁力鏈火遍整個(gè)AI社區(qū)

　　去年12月，首個(gè)磁力鏈發(fā)布后，Mistral AI公開的8x7B的MoE模型收獲了不少好評(píng)。

　　基準(zhǔn)測(cè)試中，8個(gè)70億參數(shù)的小模型性能超越了多達(dá)700億參數(shù)的Llama2。

　　它可以很好地處理32k長(zhǎng)度的上下文，支持英語(yǔ)、法語(yǔ)、意大利語(yǔ)、德語(yǔ)和西班牙語(yǔ)，且在代碼生成方面表現(xiàn)出強(qiáng)大的性能。

　　今年2月，最新旗艦版模型Mistral Large問世，性能直接對(duì)標(biāo)GPT-4。

　　不過，這個(gè)版本的模型沒有開源。

　　Mistral Large具備卓越的邏輯推理能力，能夠處理包括文本理解、轉(zhuǎn)換以及代碼生成在內(nèi)的復(fù)雜多語(yǔ)言任務(wù)。

　　也就是半個(gè)月前，在一個(gè)Cerebral Valley黑客松活動(dòng)上，Mistral AI開源了Mistral7B v0.2基礎(chǔ)模型。

　　這個(gè)模型支持32k上下文，沒有滑動(dòng)窗口，Rope Theta =1e6。

　　現(xiàn)在，最新的8x22B MoE模型也在抱抱臉平臺(tái)上上線，社區(qū)成員可以基于此構(gòu)建自己應(yīng)用。