在科技領(lǐng)域，多模態(tài)模型的決策能力一直是研究的熱點(diǎn)。最近，UC伯克利等高校的研究團(tuán)隊(duì)提出了一種名為RL4VLM的全新強(qiáng)化學(xué)習(xí)框架，成功地提升了多模態(tài)大模型在決策任務(wù)上的表現(xiàn)。該模型在無需人類反饋的情況下，通過強(qiáng)化學(xué)習(xí)微調(diào)，已經(jīng)學(xué)會(huì)了看圖玩撲克、算“12點(diǎn)”等任務(wù)，并且其表現(xiàn)超越了GPT-4v。

　　研究團(tuán)隊(duì)由多位重量級(jí)人物組成，包括圖靈獎(jiǎng)得主、Meta首席AI科學(xué)家、紐約大學(xué)教授LeCun，UC伯克利的Sergry Levine教授，以及香港大學(xué)數(shù)據(jù)科學(xué)學(xué)院院長、UC伯克利教授馬毅等。他們的研究成果已經(jīng)以論文預(yù)印本的形式發(fā)布，并且相關(guān)代碼已在GitHub上開源。

　　RL4VLM的核心是一種新的算法框架，它直接使用強(qiáng)化學(xué)習(xí)方法對(duì)多模態(tài)大模型進(jìn)行微調(diào)。這種方法的一個(gè)顯著特點(diǎn)是，獎(jiǎng)勵(lì)信息直接來源于環(huán)境，不再依賴于人類反饋。這不僅提高了效率，也賦予了多模態(tài)模型自主決策的能力。

　　為了全面評(píng)估RL4VLM的效果，研究團(tuán)隊(duì)設(shè)計(jì)了兩類評(píng)測(cè)任務(wù)。第一類任務(wù)主要測(cè)試模型利用圖像中的細(xì)粒度視覺信息進(jìn)行決策的能力，包括數(shù)字識(shí)別和邏輯推理。第二類任務(wù)則主要考察模型在具身智能環(huán)境中的視覺語義推理能力。

　　具體到任務(wù)，研究團(tuán)隊(duì)設(shè)計(jì)了數(shù)軸(Numberline)、簡易12點(diǎn)(EZPoint)、24點(diǎn)(Point24)、21點(diǎn)(Blackjack)和ALFWorld等五個(gè)任務(wù)。其中，ALFWorld是微軟等于2020年提出的開源具身智能任務(wù)集，而其他任務(wù)則是研究團(tuán)隊(duì)的原創(chuàng)設(shè)計(jì)。

　　實(shí)驗(yàn)結(jié)果令人鼓舞。經(jīng)過強(qiáng)化學(xué)習(xí)微調(diào)的多模態(tài)模型，在決策問題上的表現(xiàn)不僅超過了商用模型GPT-4v，同時(shí)也超越了傳統(tǒng)的監(jiān)督微調(diào)方法。特別是在ALFWorld的具身智能任務(wù)中，RL4VLM模型取得了最高的平均分，尤其在單物體拾取任務(wù)上表現(xiàn)突出。

　　RL4VLM的工作流程是這樣的:首先，系統(tǒng)將任務(wù)的當(dāng)前狀態(tài)以圖片和文字描述的形式輸入多模態(tài)大模型，并要求模型輸出一段思維鏈，然后以文字形式輸出要執(zhí)行的動(dòng)作。動(dòng)作信息輸入環(huán)境后，獲得獎(jiǎng)勵(lì)值，該獎(jiǎng)勵(lì)值將用于強(qiáng)化學(xué)習(xí)訓(xùn)練。

　　為了適應(yīng)RL訓(xùn)練框架，研究人員對(duì)模型的輸入和輸出進(jìn)行了調(diào)整。具體來說，將任務(wù)圖像和任務(wù)描述的文本合并后，直接作為當(dāng)前任務(wù)的狀態(tài)輸入。在獲得模型的文字輸出后，將其轉(zhuǎn)化為與環(huán)境交互的動(dòng)作指令。

　　消融實(shí)驗(yàn)結(jié)果表明，使用思維鏈提示過程對(duì)任務(wù)成功率至關(guān)重要。這項(xiàng)研究不僅為多模態(tài)模型的性能提升提供了新的思路，也為未來人工智能的發(fā)展開辟了新的可能性。