Meta 發(fā)布利用文本創(chuàng)作音樂的開源 AudioCraft AI：「可能是類比合成器的新型樂器」

　　Meta周三推出了名為AudioCraft 的開源人工智能工具，該工具將幫助用戶根據(jù)文本提示創(chuàng)建音樂和音頻。它允許用戶完全通過生成式 AI 創(chuàng)作音樂和聲音。

　　Meta 表示，該人工智能工具捆綁了 AudioGen、EnCodec 和 MusicGen 三個(gè)模型，適用于音樂、聲音、壓縮和生成。它補(bǔ)充說，MusicGen 使用公司擁有且專門授權(quán)的音樂進(jìn)行培訓(xùn)。

　　三個(gè) AI 模型分別處理聲音生成的不同領(lǐng)域。MusicGen 通過文本輸入生成音樂。該模型是在「Meta 擁有或?qū)ｉT用于此目的授權(quán)的 2 萬個(gè)小時(shí)的音樂」上進(jìn)行訓(xùn)練的。AudioGen 根據(jù)文本提示創(chuàng)建聲音效果，如狗叫聲或腳步聲，它是在公共音效上進(jìn)行訓(xùn)練的。Meta 改進(jìn)了 EnCodec 解碼器的版本，可以使用戶使用較少的偽影來創(chuàng)建聲音——當(dāng)你過多操縱音頻時(shí)會產(chǎn)生偽影。

　　藝術(shù)家和行業(yè)專家對侵犯版權(quán)提出了擔(dān)憂，因?yàn)闄C(jī)器學(xué)習(xí)軟件通過識別和復(fù)制從網(wǎng)絡(luò)上抓取的數(shù)據(jù)中的模式來工作。

　　Meta 公司讓媒體們聽了一些使用 AudioCraft 制作的示例音頻。口哨聲、警笛聲和嗡嗡聲聽起來非常自然。盡管歌曲中的吉他琴弦感覺很真實(shí)，但它們?nèi)匀桓杏X有點(diǎn)不自然。

　　Meta 只是最新處理音樂和 AI 結(jié)合的公司之一。今年早些時(shí)候，谷歌推出了 MusicLM，這是一個(gè)大型語言模型，可以根據(jù)文本提示生成幾分鐘的音樂，只對研究人員開放。然后，一首名為「AI 生成」的歌曲在得到病毒傳播后被下架，這首歌曲中有 Drake 和 The Weeknd 的聲音。最近，一些音樂家，比如 Grimes，鼓勵(lì)人們在 AI 創(chuàng)作的歌曲中使用自己的聲音。

　　然而，音樂家們一直在嘗試電子音頻很長一段時(shí)間了;電子舞曲和像 Ultra 這樣的音樂節(jié)并不是憑空出現(xiàn)的。但是由計(jì)算機(jī)生成的音樂經(jīng)常聽起來像是從現(xiàn)有音頻中處理出來的。AudioCraft 和其他生成式 AI 生成的音樂完全是根據(jù)文本和大量的聲音數(shù)據(jù)生成的。

　　目前，AudioCraft 聽起來更像是可以用作電梯音樂或背景歌曲，可以為環(huán)境增添氛圍，而不是下一個(gè)流行熱曲。然而，Meta 相信他們的新模型可以像合成器一樣開創(chuàng)一波新的流行歌曲潮流，以及合成器在成為流行后如何改變了音樂。

　　「我們認(rèn)為 MusicGen 可以變成一種新型樂器——就像合成器首次出現(xiàn)時(shí)一樣」，該公司在博客中表示。Meta 承認(rèn)，創(chuàng)建能夠創(chuàng)作音樂的 AI 模型的困難，因?yàn)橐纛l通常包含數(shù)百萬個(gè)離散點(diǎn)，而不僅僅是像 Llama 2 這樣的文本模型，只包含數(shù)千個(gè)點(diǎn)。

　　該公司表示，為了使其訓(xùn)練數(shù)據(jù)的多樣性更加豐富，AudioCraft 需要進(jìn)行開源。

　　「我們認(rèn)識到，用于訓(xùn)練我們的模型的數(shù)據(jù)集缺乏多樣性。尤其是用于訓(xùn)練的音樂數(shù)據(jù)集中，更多是西方風(fēng)格的音樂，只包含以英文編寫的音頻文本對和元數(shù)據(jù)」，Meta 表示。「通過分享 AudioCraft 的代碼，我們希望其他研究人員能夠更容易地測試限制或消除生成模型中潛在偏見和誤用的新方法」。