最近一段時間開源大模型市場非常熱鬧，先是蘋果開源了 70 億參數小模型DCLM，然后是重量級的Meta的Llama 3.1 和Mistral Large2 相繼開源，在多項基準測試中Llama 3. 1 超過了閉源SOTA模型。

　　不過開源派和閉源派之間的爭論并沒有停下來的跡象。

　　一邊是Meta在Llama 3. 1 發(fā)布后表示：“現(xiàn)在，我們正在迎來一個開源引領的新時代。”另一邊是Sam Altman在《華盛頓郵報》撰文，直接把開源閉源的矛盾上升到國家和意識形態(tài)層面。

　　在前段時間的世界人工智能大會上，李彥宏直言“開源其實是一種智商稅”，因為閉源模型明明性能強，推理成本更低，再次引發(fā)討論。

　　隨后，傅盛也發(fā)表了他的看法，他認為開源和閉源這兩個陣營是彼此共同競爭，共同發(fā)展。并對“開源其實是一種智商稅”這一觀點進行了反駁：“開源大語言模型是免費的，他怎么來的智商稅呢，誰在收稅?”，“如果今天企業(yè)用付費閉源大語言模型，那才叫'智商稅'，尤其是收很高的模型授權費、API費用，一年花了數百上千萬，最后買回去當個擺設，甚至員工根本用不起來(模型)。”

　　這場爭論的核心涉及到技術發(fā)展的方向和模式，反映了不同利益相關者的觀點和立場，在我們談論大語言模型的開源和閉源之前，需要厘清先“開源”和“閉源”這兩個基本概念。

　　“開源”一詞源自軟件領域，指在軟件開發(fā)過程中公開其源代碼，允許任何人查看、修改和分發(fā)。開源軟件的開發(fā)通常遵循互惠合作和同儕生產的原則，促進了生產模塊、通信管道和交互社區(qū)的改進，典型代表包括Linux，Mozilla Firefox。

　　閉源軟件（專有軟件）由于商業(yè)或其他原因，不公開源代碼，只提供計算機可讀的程序(如二進制格式)。源代碼僅由開發(fā)者掌握和控制。典型代表包括Windows，安卓。

　　開源是一種軟件開發(fā)模式，基于開放、共享和協(xié)作，鼓勵大家共同參與軟件的開發(fā)和改進，推動技術的不斷進步和廣泛應用。

　　選擇閉源開發(fā)的軟件更有可能成為一個穩(wěn)定、專注的產品，但是閉源軟件通常需要花錢，且如果它有任何錯誤或缺少功能，只能等待開放商來解決問題。

　　至于什么是開源大模型，業(yè)界并沒有像開源軟件一樣達成一個明確的共識。

　　大語言模型的開源和軟件開源在理念上是相似的，都是基于開放、共享和協(xié)作，鼓勵社區(qū)共同參與開發(fā)和改進，推動技術進步并提高透明性。

　　然而，在實現(xiàn)和需求上有顯著區(qū)別。

　　軟件開源主要針對應用程序和工具，開源的資源需求較低，而大語言模型的開源則涉及大量計算資源和高質量的數據，并且可能有更多使用限制。因此，雖然兩者的開源都旨在促進創(chuàng)新和技術傳播，但大語言模型開源面臨更多的復雜性，社區(qū)貢獻形式也有所不同。

　　李彥宏也強調了兩者的區(qū)別，模型開源不等于代碼開源：“模型開源只能拿到一堆參數，還要再做SFT(監(jiān)督微調)、安全對齊，即使是拿到對應源代碼，也不知道是用了多少比例、什么比例的數據去訓練這些參數，無法做到眾人拾柴火焰高，拿到這些東西，并不能讓你站在巨人的肩膀上迭代開發(fā)。”

　　大語言模型的全流程開源包括將模型開發(fā)的整個過程，從數據收集、模型設計、訓練到部署，所有環(huán)節(jié)都公開透明。這種做法不僅包括數據集的公開和模型架構的開放，還涵蓋了訓練過程的代碼共享和預訓練模型權重的發(fā)布。

　　過去一年，大語言模型的數量大幅增加，許多都聲稱是開源的，但它們真的有多開放呢?

　　荷蘭拉德堡德大學的人工智能研究學者Andreas Liesenfeld和計算語言學家Mark Dingemanse也發(fā)現(xiàn)，雖然“開源”一詞被廣泛使用，但許多模型最多只是“開放權重”，關于系統(tǒng)構建的其他大多數方面都隱藏了起來。

　　比如Meta和微軟等科技雖將其大語言模型標榜為“開源”，卻并未公開底層技術相關的重要信息。而讓他們意外的是，資源更少的AI企業(yè)和機構的表現(xiàn)更令人稱贊。

　　該研究團隊分析了一系列熱門“開源”大語言模型項目，從代碼、數據、權重、API到文檔等多個方面評估其實際開放程度。研究還將OpenAI的ChatGPT作為閉源的參考點，凸顯了“開源”項目的真實狀況。

　　✔為開放，~為部分開放，X為封閉

　　結果顯示，項目間差異顯著，根據這個排行榜，Allen Institute for AI的OLMo是最開放的開源模型，其次是BigScience的BloomZ，兩者都是由非營利組織開發(fā)。

　　論文稱，Meta的Llama以及Google DeepMind的Gemma 雖然自稱開源或開放，但實際上只是開放權重，外部研究人員可以訪問和使用預訓練模型，但無法檢查或定制模型，也不知道模型如何針對特定任務進行微調。

　　最近LLaMA3 和Mistral Large2 的發(fā)布引起了廣泛關注。在模型在開放性方面，LLaMA3 公開了模型權重，用戶可以訪問和使用這些預訓練和指令微調后的模型權重，此外Meta還提供了一些基礎代碼，用于模型的預訓練和指令微調，但并未提供完整的訓練代碼，LLaMA 3 的訓練數據也并未公開。不過這次LMeta帶來了關于LLaMA 3.1 405B 的一份 93 頁的技術報告。

　　Mistral Large2 的情況類似，在模型權重和 API 方面保持了較高的開放度，但在完整代碼和訓練數據方面的開放程度較低，采用了一種平衡商業(yè)利益和開放性的策略，允許研究使用但對商業(yè)使用有所限制。

　　谷歌表示，該公司在描述模型時“在語言上非常精確”，他們將Gemma稱為開放而非開源。“現(xiàn)有的開源概念并不總能直接應用于 AI 系統(tǒng)，”

　　這項研究的一個重要背景是歐盟的人工智能法案，該法案生效時，對歸類為開放的模型實施較寬松的監(jiān)管，因此關于開源的定義可能會變得更加重要。

　　研究人員表示，創(chuàng)新的唯一途徑是通過調整模型，為此需要足夠的信息來構建自己的版本。不僅如此，模型還必須接受審查，例如，一個模型在大量測試樣本上進行了訓練，那么它通過特定測試可能并不算一項成就。

　　他們也對如此多的開源替代方案的出現(xiàn)感到令人欣喜，ChatGPT非常受歡迎，以至于很容易讓人們忘記對其訓練數據或其他幕后手段一無所知。對于那些希望更好地了解模型或基于構建應用的人來說，這是一個隱患，而開源替代方案使得關鍵的基礎研究成為可能。

　　硅星人也對國內部分開源大語言模型的開源情況進行了統(tǒng)計：

　　從表中我們可以看到，和海外的情況類似，開源較為徹底的模型基本是由研究機構主導，這主要是因為研究機構的目標是推動科研進步和行業(yè)發(fā)展，更傾向于開放其研究成果。

　　而商業(yè)公司則利用其資源優(yōu)勢，開發(fā)出更為強大的模型，并通過適當的開源策略在競爭中獲得優(yōu)勢。

　　從GPT- 3 到BERT以來，開源為大模型生態(tài)系統(tǒng)帶來了重要的推動力。

　　通過公開其架構和訓練方法，研究人員和開發(fā)者可以在這些基礎上進行進一步的探索和改進，催生出更多前沿的技術和應用。

　　開源大模型的出現(xiàn)顯著降低了開發(fā)的門檻，開發(fā)者和中小企業(yè)能夠利用這些先進的AI技術，而不必從零開始構建模型，從而節(jié)省了大量的時間和資源。這使得更多創(chuàng)新項目和產品得以快速落地，推動了整個行業(yè)的發(fā)展。開發(fā)者們在開源平臺上積極分享優(yōu)化方法和應用案例，也促進了技術成熟和應用。

　　對教育和科研而言，開源大語言模型提供了寶貴資源。學生和新手開發(fā)者通過研究和使用這些模型，能快速掌握先進AI技術，縮短學習曲線，為行業(yè)輸送新鮮血液。

　　然而，大語言模型的開放性并非簡單的二元特性。基于Transformer的系統(tǒng)架構及其訓練過程極為復雜，難以簡單歸類為開放或封閉。開源大模型并非一個簡單的標簽，更像一個光譜，從完全開源到部分開源，程度各異。

　　大語言模型的開源是一項復雜而細致的工作，并非所有模型都必須開源。

　　更不應以“道德綁架”的方式要求全面開源，因為這涉及大量技術、資源和安全考量，需要平衡開放與安全、創(chuàng)新與責任。正如科技領域的其他方面一樣，多元化的貢獻方式才能構建一個更豐富的技術生態(tài)系統(tǒng)。

　　開源和閉源模型的關系或許可以類比于軟件行業(yè)中開源和閉源軟件的共存。

　　開源模型促進了技術的廣泛傳播和創(chuàng)新，為研究者和企業(yè)提供了更多可能性，而閉源模型則推動著整個行業(yè)的標準的提升。兩者的良性競爭激發(fā)了持續(xù)改進的動力，也為用戶提供了多樣化的選擇。

　　正如開源和專有軟件共同塑造了今天的軟件生態(tài)，開源和閉源大模型之間也并非二元對立，兩者的并存發(fā)展是推動AI技術不斷進步、滿足不同應用場景需求的重要動力。最終，用戶和市場會作出適合自己的選擇。