10月9日消息，全球首個擁有70B參數(shù)量的長文本對話大語言模型LongAlpaca于10月9日正式對外發(fā)布，同時發(fā)布的還有超長文本擴展技術(shù)LongLoRA。

　　新模型及新技術(shù)由香港中文大學計算機科學工程系終身教授賈佳亞團隊聯(lián)合麻省理工學院(MIT)發(fā)布，解決了目前大模型對長文本處理的盲區(qū)，允許模型考慮和處理較長的文本序列。

　　目前，相關(guān)技術(shù)與模型已全部開源。據(jù)悉，LongLoRA在只需兩行代碼、一臺8卡A100機器的情況下，便可將7B模型的文本長度拓展到100k tokens，70B模型的文本長度拓展到32k tokens，遠超Llama2支持的4k tokens的文本長度;并且在顯存消耗、時間消耗和準確性上，LongLoRA都較常規(guī)LoRA和全參數(shù)微調(diào)有顯著優(yōu)異表現(xiàn)，令LongLoRA大規(guī)模推廣成為可能。