大模型在游戲開發(fā)領(lǐng)域扮演了重要角色，從AI機(jī)器人生成到場(chǎng)景搭建覆蓋各個(gè)領(lǐng)域。但在游戲場(chǎng)景理解、圖像識(shí)別、內(nèi)容描述方面很差。

　　為了解決這些難題，加拿大阿爾伯塔的研究人員專門開源了一款針對(duì)游戲領(lǐng)域的大模型VideoGameBunny(以下簡(jiǎn)稱“VGB”)。

　　VGB可以作為視覺AI助理，能夠理解游戲環(huán)境并提供實(shí)時(shí)反饋。例如，在探索型的3A游戲中，可以幫助玩家識(shí)別關(guān)鍵物品或進(jìn)行問(wèn)答，幫助玩家能夠更快地掌握游戲技巧，從而增強(qiáng)游戲的互動(dòng)性和沉浸感。

　　VGB也可以通過(guò)分析大量的游戲圖像數(shù)據(jù)，夠檢測(cè)到圖形渲染的錯(cuò)誤、物理引擎的不一致性等，幫助開發(fā)人員快速識(shí)別和修復(fù)游戲中的bug和異常。

　　VGB是基于Bunny模型(高性能低消耗版本)基礎(chǔ)之上開發(fā)而成，這個(gè)模型的設(shè)計(jì)方法類似于LLaVA，采用多層感知器網(wǎng)絡(luò)作為投影層，將來(lái)自強(qiáng)預(yù)訓(xùn)練視覺模型的視覺嵌入轉(zhuǎn)化為圖像標(biāo)記，供語(yǔ)言模型處理，可有效利用了預(yù)訓(xùn)練的視覺和語(yǔ)言模型使它們能夠高效地協(xié)同處理數(shù)據(jù)。

　　Bunny模型支持最高1152×1152像素的圖像分辨率，這在處理視頻游戲圖像時(shí)非常重要，因?yàn)橛螒虍嬅嫱ǔ０�含從UI圖標(biāo)到大型物體等不同尺寸的視覺元素。多尺度特征的提取有助于模型捕捉這些元素，從而提高對(duì)游戲內(nèi)容的理解能力。

　　為了使VGB能夠更好地理解和處理游戲的視覺內(nèi)容，研究人員使用了Meta開源的LLama-3-8B作為語(yǔ)言模型，并結(jié)合了SigLIP視覺編碼器以及S2包裝器。這種多尺度特征提取方法能夠捕捉游戲中不同尺度的視覺元素，從微小的用戶界面圖標(biāo)到大型游戲?qū)ο螅瑥亩鵀槟Ｐ吞峁┝素S富的上下文信息。

　　此外，為了生成和游戲圖像相匹配的指令數(shù)據(jù)，研究人員使用了多種先進(jìn)的模型，包括Gemini-1.0-Pro-Vision、GPT-4V、GPT-4o等，以生成不同類型的指令。這些指令包括簡(jiǎn)短的標(biāo)題、詳細(xì)的標(biāo)題、圖像到JSON的描述以及基于圖像的問(wèn)答等，可以幫助模型更好地理解和響應(yīng)玩家的查詢和命令。

　　在模型訓(xùn)練方面，VGB使用了比較流行的LoRA參數(shù)高效微調(diào)方法，允許模型在保持預(yù)訓(xùn)練權(quán)重的同時(shí)，對(duì)特定任務(wù)進(jìn)行微調(diào)，從而在不顯著增加計(jì)算成本的情況下提高模型的性能。此外，研究團(tuán)隊(duì)還使用了PEFT庫(kù)來(lái)指導(dǎo)模型的訓(xùn)練過(guò)程，進(jìn)一步提升了訓(xùn)練的高效性和穩(wěn)定性。

　　訓(xùn)練數(shù)據(jù)方面，研究人員收集了來(lái)自413款不同游戲的超過(guò)185，000多張圖像以及將近39萬(wàn)個(gè)圖像-指令對(duì)，涵蓋了圖像說(shuō)明、問(wèn)答對(duì)以及136，974張圖像的JSON表示。

　　JSON格式的數(shù)據(jù)包含了16個(gè)元素，能夠捕捉圖像的多層次細(xì)節(jié)信息，包括整體概述、具體的人物描述、天氣信息、用戶界面和玩家?guī)齑娴恼�要、�?chǎng)景中的物體、照明和環(huán)境效果等。

　　為了創(chuàng)建圖像到JSON的數(shù)據(jù)集，研究團(tuán)隊(duì)使用Gemini-1.5-Pro結(jié)合特定的指示，將給定的圖像轉(zhuǎn)換成一個(gè)具有層次結(jié)構(gòu)細(xì)節(jié)和信息的JSON文件。

　　研究人員認(rèn)為，全球游戲市場(chǎng)總額超過(guò)3000億美元，在游戲開發(fā)、性能測(cè)試、提升游戲體驗(yàn)等方面對(duì)大模型有著巨大需求，VGB是可以輔助開發(fā)人員以及玩家達(dá)到這些目的。