AI音樂(lè)生成的主要技術(shù)路線分析

現(xiàn)在行業(yè)里有三種 AI 音樂(lè)生成的主要技術(shù)路線。

第一種是基于音樂(lè)規(guī)則模板和算法調(diào)優(yōu)的方案，這是市場(chǎng)上能夠看到的大部分技術(shù)方案。它的優(yōu)勢(shì)是比較容易快速地產(chǎn)出產(chǎn)品，穩(wěn)定性高。它的劣勢(shì)是很難取得進(jìn)一步的效果突破，因?yàn)樗腔谝?guī)則的，也就是說(shuō)由制作模板的人決定它生成內(nèi)容質(zhì)量的天花板；第二種是基于音頻輸入和輸出的音樂(lè)生成，它的優(yōu)勢(shì)是有海量的數(shù)據(jù)可以訓(xùn)練。由于數(shù)據(jù)的規(guī)模比較龐大，人們對(duì)這個(gè)模型效果的要求也就不那么高，這樣比較容易進(jìn)行算法移植。它的劣勢(shì)是需要大量的計(jì)算資源。同時(shí)，從產(chǎn)出的效果看，其音樂(lè)的結(jié)構(gòu)性是比較差的，可控性也比較弱。因?yàn)樗罱K的成品是無(wú)法修改的；第三種解決方案是基于符號(hào)的音樂(lè)生成。它的優(yōu)勢(shì)是生成的效果可控性比較強(qiáng)，一開(kāi)始對(duì)資源的要求比較低。當(dāng)然它也存在自己的天然劣勢(shì)，即標(biāo)注的數(shù)據(jù)難度比較大，且直接可用的數(shù)據(jù)規(guī)模比較小。所以它對(duì)于模型的結(jié)構(gòu)要求、效果要求比較高，在起步的階段要積累較長(zhǎng)時(shí)間，儲(chǔ)備的研究周期也比較長(zhǎng)。同時(shí)，它對(duì)于模型創(chuàng)新的要求也比較高，這意味著需要研究者耐心地進(jìn)行數(shù)據(jù)的標(biāo)注和模型的迭代優(yōu)化。但只要輸出的效果達(dá)標(biāo)，就基本沒(méi)有其它負(fù)面問(wèn)題。

目前，音樂(lè)算法對(duì)比語(yǔ)音、圖片和文本算法有較大的區(qū)別。換言之，當(dāng)前解析算法還沒(méi)有實(shí)現(xiàn)。例如語(yǔ)音算法可以使用聲碼去控制生成的內(nèi)容，但音樂(lè)并未細(xì)化到時(shí)間部的控制算法。又例如音樂(lè)數(shù)據(jù)包含了多個(gè)軌道、多個(gè)樂(lè)器、不同的節(jié)奏和音高等音樂(lè)元素，而且不同類型的音樂(lè)數(shù)據(jù)有不同的特征和規(guī)律，目前解析算法的通用性是非常難做到這一點(diǎn)的。同時(shí)，人們?nèi)粘?huì)接觸到的音樂(lè)數(shù)據(jù)包含時(shí)間和節(jié)律上的特征，它們之間的相互關(guān)系與單純的語(yǔ)音相比有更多特征信息，比如包含豐富的語(yǔ)義和情感信息，像歌詞、曲調(diào)、音樂(lè)風(fēng)格，這些維度就算在超自然的語(yǔ)音合成和多情感的文本生成領(lǐng)域都是比較難解決的問(wèn)題。這會(huì)導(dǎo)致生成內(nèi)容的結(jié)構(gòu)性和空間的問(wèn)題難以解決，比如對(duì)于特定音色的增加和刪減。因此，建議優(yōu)先考慮第三種方案。如果音樂(lè)解析的問(wèn)題未來(lái)能夠得到解決，那么當(dāng)前所提到的第二種端到端的解決方案可能沒(méi)有任何優(yōu)勢(shì)。但由于第二種方案對(duì)于模型本身的要求是比較低的，對(duì)于有一定人力和資源可以去長(zhǎng)期投入的較大型的公司而言，其有算力的優(yōu)勢(shì)，因此這些公司主要采用后面這兩種方案同步進(jìn)行。

而從 AI 音樂(lè)生成的技術(shù)框架流程來(lái)看，其可以輸入一些故事描述或者歌曲的風(fēng)格、氛圍的場(chǎng)景等虛擬標(biāo)簽，也可以輸入文本、圖片或者視頻等多模態(tài)內(nèi)容作為指導(dǎo)，模型會(huì)基于這些輸入依次進(jìn)行歌詞生成、旋律生成，也就是先生成簡(jiǎn)譜、然后再生成和弦，然后再生成編曲，生成作品。鏈路是模擬創(chuàng)作一首音樂(lè)的路程，它的速度會(huì)更快，兼顧到的信息量更足。以企業(yè)文化主題曲為例，只需要把員工手冊(cè)輸入到模型里，根據(jù)員工手冊(cè)去解析出押韻的核心價(jià)值觀作為歌詞，然后依據(jù)歌詞生成旋律，這也是有意思的事情。

對(duì)于 AIGC 音樂(lè)生成模型，目前還在持續(xù)做前沿的研究和實(shí)驗(yàn)。對(duì)比文本生成模型，音樂(lè)生成模型的特點(diǎn)就是結(jié)構(gòu)性和音樂(lè)性，比如引入相對(duì)位置編碼。因?yàn)橐魳?lè)有很強(qiáng)的重復(fù)性、意境性，其內(nèi)容是按照前奏、主歌、副歌等這樣的結(jié)構(gòu)進(jìn)行的，而第二段主歌和第一段主歌是強(qiáng)相關(guān)的，如果模型無(wú)法學(xué)習(xí)到這里面的相關(guān)性，最后輸出的內(nèi)容就會(huì)存在混亂的感覺(jué)，因此其它的優(yōu)化也是從不同的角度優(yōu)化音樂(lè)的結(jié)構(gòu)性。