近期，中國(guó)香港中文大學(xué)和 SmartMore 的研究人員推出了一種名為 Mini-Gemini 的新穎框架，通過增強(qiáng)多模態(tài)輸入處理來(lái)推動(dòng) VLMs 的發(fā)展。Mini-Gemini 采用了雙編碼器系統(tǒng)和一種新穎的補(bǔ)丁信息挖掘技術(shù)，結(jié)合一個(gè)特別策劃的高質(zhì)量數(shù)據(jù)集，使其能夠有效處理高分辨率圖像并生成內(nèi)容豐富的視覺和文本內(nèi)容，從而使其脫穎而出。

　　Mini-Gemini 的方法論包括一個(gè)雙編碼器系統(tǒng)，其中包括一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，用于精細(xì)處理圖像，增強(qiáng)視覺標(biāo)記而不增加它們的數(shù)量。它利用補(bǔ)丁信息挖掘來(lái)提取詳細(xì)的視覺線索。該框架在一個(gè)復(fù)合數(shù)據(jù)集上進(jìn)行訓(xùn)練，將高質(zhì)量的圖像文本對(duì)和面向任務(wù)的指令相結(jié)合，以提高模型性能和應(yīng)用范圍。Mini-Gemini 兼容各種大型語(yǔ)言模型(LLMs)，參數(shù)范圍從2B 到34B，實(shí)現(xiàn)了高效的任意推斷。這一設(shè)置使 Mini-Gemini 在零樣本基準(zhǔn)測(cè)試中取得了卓越的成績(jī)，并支持高級(jí)多模態(tài)任務(wù)。

　　在評(píng)估 Mini-Gemini 的有效性時(shí)，該框架在幾個(gè)零樣本基準(zhǔn)測(cè)試中展示了領(lǐng)先的表現(xiàn)。具體來(lái)說，在 MM-Vet 和 MMBench 基準(zhǔn)測(cè)試中，它超越了 Gemini Pro 模型，分別獲得了79.6和75.6的分?jǐn)?shù)。當(dāng)配置為 Hermes-2-Yi-34B 時(shí)，Mini-Gemini 在 VQAT 基準(zhǔn)測(cè)試中取得了令人矚目的70.1分，超過了現(xiàn)有的 LLaVA-1.5模型在所有評(píng)估指標(biāo)上的表現(xiàn)。這些結(jié)果驗(yàn)證了 Mini-Gemini 在處理復(fù)雜的視覺和文本任務(wù)時(shí)的高效性和精度。

　　該研究介紹了 Mini-Gemini，通過雙編碼器系統(tǒng)、補(bǔ)丁信息挖掘和高質(zhì)量數(shù)據(jù)集推動(dòng)了 VLMs 的發(fā)展。Mini-Gemini 在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)了出色的性能，超越了現(xiàn)有模型，標(biāo)志著多模態(tài)人工智能能力的重要進(jìn)步。

　　然而，正如研究人員所承認(rèn)的那樣，Mini-Gemini 在視覺理解和推理能力方面仍有改進(jìn)空間，他們斷言未來(lái)的工作將探索視覺理解、推理和生成的高級(jí)方法。