繼ChatTTS之后，字節(jié)跳動(dòng)團(tuán)隊(duì)提出了一種名為Seed-TTS的新型語(yǔ)音生成模型。Seed-TTS基于自回歸Transformer架構(gòu)，能夠生成聽(tīng)起來(lái)非常自然且富有表現(xiàn)力的語(yǔ)音，其質(zhì)量與人類(lèi)語(yǔ)音極為接近，難以區(qū)分。

　　演示視頻

　　該模型在多個(gè)方面表現(xiàn)出色，特別是在情感控制、小說(shuō)配音和跨語(yǔ)言?xún)?nèi)容創(chuàng)作等方面。Seed-TTS模型通過(guò)自我蒸餾和強(qiáng)化學(xué)習(xí)技術(shù)，提升了其發(fā)音的自然性和可控性。此外，研究團(tuán)隊(duì)還提出了該模型的非自回歸變體，進(jìn)一步增強(qiáng)了模型的性能。

　　Seed-TTS的推理過(guò)程包括四個(gè)主要步驟:

　　語(yǔ)音分詞器:學(xué)習(xí)并理解參考語(yǔ)音中的各個(gè)音素或音標(biāo)。

　　自回歸語(yǔ)言模型:根據(jù)輸入的文本和已有的語(yǔ)音信息生成語(yǔ)音標(biāo)記。

　　擴(kuò)散變換器:采用分層方法生成連續(xù)的語(yǔ)音表示，為語(yǔ)音合成提供中間特征。

　　聲學(xué)波形合成器:從擴(kuò)散變換器的輸出生成更高質(zhì)量的語(yǔ)音波形。

　　Seed-TTS在多種語(yǔ)音特征的可控性上展現(xiàn)出優(yōu)越性能，并且在不同語(yǔ)言的語(yǔ)音生成任務(wù)中也有良好的表現(xiàn)。它在零樣本(zero-shot)語(yǔ)境學(xué)習(xí)、發(fā)音調(diào)整和情感控制方面具有廣泛的應(yīng)用潛力。

　　總體而言，Seed-TTS模型在語(yǔ)音合成領(lǐng)域帶來(lái)了顯著的進(jìn)展，為創(chuàng)造更自然、更可控的語(yǔ)音合成技術(shù)開(kāi)辟了新的道路。這項(xiàng)技術(shù)的突破預(yù)示著未來(lái)在提高語(yǔ)音合成自然度和表現(xiàn)力方面將會(huì)有更多的可能性和創(chuàng)新應(yīng)用。