阿里通義實(shí)驗(yàn)室今日宣布開源首個(gè)音頻生成模型ThinkSound，該模型創(chuàng)新性地將思維鏈(CoT)技術(shù)應(yīng)用于音頻生成領(lǐng)域，使AI能夠逐步分析畫面事件與聲音的關(guān)系，實(shí)現(xiàn)高保真、強(qiáng)同步的空間音頻生成。

　　ThinkSound由多模態(tài)大語(yǔ)言模型和統(tǒng)一音頻生成模型兩部分組成，通過理解整體畫面、聚焦具體物體、響應(yīng)用戶指令三個(gè)階段生成精準(zhǔn)對(duì)位的音頻效果。為支持模型訓(xùn)練，研究團(tuán)隊(duì)構(gòu)建了多模態(tài)音頻數(shù)據(jù)集AudioCoT，包含2531.8小時(shí)高質(zhì)量樣本，涵蓋動(dòng)物鳴叫、機(jī)械運(yùn)轉(zhuǎn)等多種真實(shí)場(chǎng)景，并設(shè)計(jì)了精細(xì)化的數(shù)據(jù)篩選流程。

　　該模型解決了傳統(tǒng)視頻到音頻生成技術(shù)難以捕捉動(dòng)態(tài)細(xì)節(jié)和空間關(guān)系的問題，使AI能夠像人類音效師一樣結(jié)構(gòu)化地分析和合成聲音。