OpenBuddy 團(tuán)隊(duì)發(fā)布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k，這是他們首次在 Llama370B 基座上的中文跨語言訓(xùn)練嘗試。

　　Llama370B 是一個(gè)15T 訓(xùn)練集訓(xùn)練而成的稠密大模型，然而由于訓(xùn)練集中缺少中文數(shù)據(jù)，Meta 官方的 Llama3系列對(duì)話模型在中文領(lǐng)域的認(rèn)知、理能力較弱，容易出現(xiàn)以英文回答中文問題的現(xiàn)象。

　　因此，OpenBuddy 團(tuán)隊(duì)在此次訓(xùn)中選擇了 Llama370B Base 模型作為基礎(chǔ)，重點(diǎn)提升模型的跨語言理解、認(rèn)知能力。

　　測(cè)試過程中，OpenBuddy-Llama3-70B 展現(xiàn)出了優(yōu)秀的中文理解能力，具備了更的認(rèn)知潛力和量化后性能。在此次發(fā)布的模型中，他們對(duì) Llama3現(xiàn)有詞表進(jìn)行了擴(kuò)，增加了7000余個(gè)中文字詞，進(jìn)一步提升了模型中文編碼密度。

　　值得一提的是，于量化版模型能力下降較為明顯，他們本次只發(fā)布了模型的完整版權(quán)重，后續(xù)會(huì)嘗優(yōu)化70B 模型的量化后性能，并挑選合適時(shí)機(jī)發(fā)布量化版。