Meta公司宣布了一項重大技術(shù)進展，發(fā)布了其最新的開源模型——Llama3。這一模型包含兩種參數(shù)規(guī)模:8B(80億參數(shù))和70B(700億參數(shù))，預計將于今年7月正式面世。Llama3模型不僅具備多模態(tài)能力，還集成了新的計算機編碼功能，能夠輸出文本和圖像，預示著其未來將被應(yīng)用于雷朋 Meta 智能眼鏡等設(shè)備。

　　Meta公司與谷歌建立了合作伙伴關(guān)系，將實時搜索結(jié)果整合到 AI 助手的答復中，進一步提升了用戶體驗。與前代 Llama2相比，Llama3在多個行業(yè)基準測試中展現(xiàn)了突破性的性能，特別是在推理、代碼生成和指令跟蹤等方面取得了顯著進步。為了訓練這一模型，Meta 構(gòu)建了兩個包含2.4萬個GPU的集群，其中1.6萬個GPU同時用于Llama3的訓練。

　　Llama3的開發(fā)預示著 Meta 在 AI 領(lǐng)域的雄心壯志。目前，公司正在開發(fā)的最大型模型擁有超過400B(400億)的參數(shù)規(guī)模。Meta Llama3的主要性能特點包括:

　　模型規(guī)模與類型:提供8B和70B兩種規(guī)模的預訓練和指令調(diào)優(yōu)生成文本模型，專為對話和其他語言處理任務(wù)優(yōu)化。

　　模型架構(gòu):采用自回歸方法和基于優(yōu)化的變換器架構(gòu)，引入了分組查詢注意力機制，提升了大規(guī)模參數(shù)下的推理可擴展性。

　　訓練與數(shù)據(jù)處理:使用超過15萬億的tokens進行預訓練，訓練集是Llama2的七倍，支持高達30種語言。

　　性能與基準測試:在多個自動化基準測試中表現(xiàn)出色，包括對話、問答、推理等多種任務(wù)，并特別針對現(xiàn)實世界場景進行了優(yōu)化。

　　Meta 還發(fā)布了基于 Llama3的 AI 助手，目前已在美國之外的十多個國家推出。用戶可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 助手，它能夠推薦餐廳、規(guī)劃周末活動、協(xié)助學習等。此外，Meta AI 還整合了搜索功能，可以直接訪問網(wǎng)絡(luò)上的實時信息，無需切換應(yīng)用。