11月16日,2023OPPO開發者大會在上海世博中心舉行,會上OPPO正式發布了自主訓練的個性專屬大模型與智能體——安第斯大模型(AndesGPT)。

　　AndesGPT以“端云協同”為基礎架構設計思路,推出從十億至千億以上多種不同參數規模的模型規格,能夠基于“端云分工、端云互補、端云協作”等方式,靈活支撐多元化的應用場景。AndesGPT著重強調了“對話增強、個性專屬、端云協同”三個層面的技術特性。可見,OPPO在大模型賽道上已有一些自己的思路。

　　發布會上,OPPO提出如今是“技術驅動體驗的時代”,認為大模型將全面革新智能終端交互體驗,并朝這個方向不斷為用戶帶來優質的體驗。同時,在技術能力的加強方面,OPPO將布局大模型前瞻技術,聯合中國科技大學成立的智能計算聯合實驗室,已將大模型作為核心技術研究方向。同時,OPPO還將開源智能體(Agent)框架,支持智能體的高效孵化、托管與應用。

　　AI賽道進入全面競爭,AndesGPT會為每個人堅定而來

　　這一系列的大動作的宣布,也再次印證了當下大模型的全面競爭時代。

　　發布會先從“智能體驗”切入,強調“更有用、更專業、更專屬”。比如,跟隨ColorOS 14一起發布的全新小布,就內置了豐富的智能體,不同的智能體為用戶提供不同的場景體驗。

　　這個思路下,OPPO給出了AndesGPT的目標:為每個人打造有用的大模型及智能體,并且也將開源智能體框架,打造一站式的“智能體開發平臺”。

　　據介紹,AndesGPT有三大類規格:AndesGPT-Tiny、AndesGPT-Turbo 和AndesGPT-Titan,可涵蓋十億至千億以上多種不同參數規模的模型規格,并根據不同場景智能調度。在AndesGPT的網絡架構中,OPPO也提出了兩個組合創新:“RoPE 位置編碼探索base最優值”——來極大提升上下文擴展能力,還有“GQA 結合復雜移動窗口加速訓練和推理”——來實現 O(Nd)的線性復雜度。

　　四大核心能力凸顯,AndesGPT賦能多個大模型應用場景

　　AndesGPT將核心能力聚焦在知識、記憶、工具和創作四大方向。

　　在知識能力上,AndesGPT提供了“融合知識庫、知識圖譜及通用搜索,提供更專業的問答”的能力,同時也通過“自動識別知識依賴模塊、準確判別引入外部知識實際、引?精準召回機制”來將外部知識與模型融合生成結果,降低“幻覺”的產生。

　　在記憶能力上,AndesGPT具備了長時記憶機制,可以?持?限?度的上下文。長時記憶主要包括用戶交互過程中產生的交互歷史、個人數據,以及從中提取的結構化信息等。為了解決長時記憶引入的首字推理時長的問題,OPPO?研了名為SwappedAttention的機制。

　　這個機制有一定的領先性和原創性,相對PagedAttention,在PagedAttention基礎上做了技術的演進和擴展。

　　比如在首字生成場景,需要對歷史序列進行編碼計算,當歷史序列較長時,容易出現計算瓶頸,表現為首字計算耗時長,并發度低。SwappedAttention可緩存歷史KV值,大幅降低首字計算量。并使用GPU顯存、主機內存、GDS連接外部存儲等多層級緩存方式,根據緩存時長、對話頻率等策略進行分級存儲與交換。

　　在實際應用中,如常見的“多輪對話場景“中,隨著聊天輪次累積,Prompt越來越長,每個Query的首字時耗越來越長。SwappedAttention可以緩存歷史KV值至多級緩存中,有效減少對話時首字推理時間,使得用戶獲得更快的系統響應。

　　在“FileChat文檔對話場景”中,SwappedAttention可以讀取歷史計算好的KV值信息,避免長文本的KV值重計算,大量減少計算開銷,縮短首字推理時間,并且可以提升首字計算的并發度;在非首字的推理過程中,SwappedAttention可以動態壓縮KV值,進一步降低顯存占用,提升整體吞吐。

　　在工具使用上,AndesGPT在訓練階段引入代碼和長文本進?強化訓練,并通過指令構建和微調,提升模型遵循指令的效果。同時還?持“系統設置、一方應用、三方服務、代碼解釋器”等各類?具。

　　在創作能力上,除了不斷提升的“對話”能力,AndesGPT還具備“文生圖、圖生圖、中國風、高清壁紙”等能力,并且已經全流程支持音樂生成。此前小布剛發布的單曲《專屬于你:小布永相伴》,其歌詞、旋律、音色等元素均由AndesGPT生成。

　　篤定端與云的協同,AndesGPT有條不紊地展開大模型未來之路

　　AndesGPT通過端云協同的設計,來為用戶提供智能化服務:端側解決方案的優勢非常明顯,能夠提升針對任務執行、降級應答等場景,提升極端場景下的可用性;同時在云端,OPPO同樣提供可信的大模型服務,會結合機密計算技術,構建加密、可信通道,充分保障用戶隱私。

　　不久前,OPPO也與聯發科宣布“共建輕量化大模型端側部署方案”,能夠看到OPPO從底層來構建“端云協同、全棧優化”的充分思考和周到考慮,正不斷為未來技術發展做好扎實鋪墊。

　　聯想到剛剛過去的OPPO Find N3新機發布,幾個“天花板”級別的“安全隱私”設計確實讓人心動,可見OPPO一直在安全領域下功夫,想必大模型領域的安全可信也會有自己獨特的技術積累,為用戶的數據保駕護航。

　　不畏蜀道難,“閃著中國AI生態希望之火”的官宣發布

　　從這次干貨滿滿的發布會可以看出,OPPO做大模型有自己的思考,期望將大模型落到實處、并搭建一個人人可參與的大模型應用生態。大模型之難不僅在“算力、數據、算法”等,搭起來只是完成了一部分,更在如何落地于每個人的“個性化需求”和“便捷可用、可定制”,而智能體的開源便是OPPO找到的關鍵一環。

　　也許,OPPO 早早地看到了大模型應用生態不可替代的重要作用,才會以全局化的努力在 AndesGPT 正式發布的當下就明確提出這樣一個長期主義的思路。這也將持續成為未來OPPO在大模型發展之路上的底層思考。

　　與本次一起發布的ColorOS14聯系起來看,就會發現,AndesGPT賦能整體ColorOS?態,為OPPO的整體科技化與智能化助力,也已是必然的路徑選擇。AndesGPT作為驅動OPPO公司AI戰略的核心引擎,全面賦能OPPO智慧終端只是時間問題。

　　技術之火會因為眾人的加入而勃發。也許不遠的未來,就能看到一個欣欣向榮的,OPPO與廣大開發者?起打造的大模型應用?態。