最近，一組來自斯坦福大學(xué)、康奈爾大學(xué)和西弗吉尼亞大學(xué)的計(jì)算機(jī)科學(xué)家與法律學(xué)者共同發(fā)表了一項(xiàng)引人矚目的研究，分析了幾款開源大型語言模型在文本記憶方面的表現(xiàn)。這項(xiàng)研究著重考察了五種不同的開放權(quán)重模型，它們的能力是否能夠重復(fù)經(jīng)典書籍中的內(nèi)容。這五款模型中，有三款來自 Meta，另外兩款分別由微軟和 EleutherAI 開發(fā)。

　　研究團(tuán)隊(duì)采用了 Books3這一流行的書籍?dāng)?shù)據(jù)庫，作為訓(xùn)練這些大模型的素材，值得一提的是，這些書籍中許多依然受到版權(quán)保護(hù)。研究者們將36本書劃分為多個重疊的100個標(biāo)記段落，然后利用前50個標(biāo)記作為提示，計(jì)算接下來的50個標(biāo)記與原文相同的概率。如果逐字重復(fù)的概率超過50%，那么這段內(nèi)容就被標(biāo)記為 “已記住”。

　　令人驚訝的是，Meta 于2024年發(fā)布的 Llama3.170B 模型在回憶《哈利波特》第一部的表現(xiàn)中，竟能記住42% 的內(nèi)容。而相比之下，Meta 在2023年發(fā)布的 Llama165B 模型僅能回憶起4.4% 的內(nèi)容。這一顯著提升引發(fā)了學(xué)術(shù)界的廣泛關(guān)注。研究人員還發(fā)現(xiàn)，相較于冷門書籍，Llama3.170B 在熱門書籍如《霍比特人》和喬治・奧威爾的《1984》中的記憶能力更為突出，記憶量遠(yuǎn)高于其他模型。

　　這一研究成果不僅展示了大型語言模型在文本記憶方面的顯著進(jìn)步，也引發(fā)了人們對未來 AI 技術(shù)在處理和理解文本內(nèi)容能力的期待�？梢哉f，隨著技術(shù)的發(fā)展，人工智能正在不斷接近人類的認(rèn)知水平。