Stability AI發(fā)布AI音樂生成工具Stable Audio

　　總部位于倫敦的初創(chuàng)公司 Stability AI 于周三推出了一款名為 Stable Audio 的新產(chǎn)品，該產(chǎn)品利用人工智能生成定制音樂曲目和音效。

　　Stable Audio 使用一種基于擴(kuò)散的 AI 模型，可以在幾秒鐘內(nèi)從簡單的文本輸入生成定制音頻文件。用戶可以指定音樂風(fēng)格、樂器、音調(diào)和其他特征，系統(tǒng)然后自動創(chuàng)作出相匹配的歌曲、音效或樂器聲部。

　　Stability AI 使用輸入文本進(jìn)行了測試，如“后搖滾、吉他、鼓套、低音、弦樂、歡快、振奮、情緒化、流暢、原始、史詩、多愁善感、125BPM”。結(jié)果是一首快速的大氣搖滾歌曲，BPM 為125。根據(jù) Stability 的說法，這表明 Stable Audio 可以生成多種風(fēng)格的歌曲，包括氛圍音樂、技術(shù)音樂和電子舞曲。

　　與以往基于人工智能的音樂生成器不同，Stable Audio 似乎能夠以長達(dá)90秒的時間生成音樂上連貫的作品，并且以44.1kHz 的專業(yè)音頻質(zhì)量。

　　生成的樣本音頻聽起來非常真實，幾乎不會讓人懷疑背后沒有人類作曲家。根據(jù) Stability AI 的說法，使用 Nvidia A100GPU，95秒音頻可以在不到一秒鐘內(nèi)生成。

　　這種技術(shù)有潛力在各種應(yīng)用中發(fā)揮作用，特別是在電影制作和游戲開發(fā)等創(chuàng)意領(lǐng)域。通過網(wǎng)絡(luò)瀏覽器可以訪問，即使對人工智能不熟悉的用戶也能輕松使用。

　　為了實現(xiàn)這種質(zhì)量，Stability AI 對音樂庫進(jìn)行了培訓(xùn)，音樂庫由 AudioSparx 提供。通過使用約80萬首歌曲、音效和樂器片段，AudioSparx 與 Stability AI 合作，并承諾將音樂庫的收入份額提供給初創(chuàng)公司 Stability Audio。作為回報，參與培訓(xùn)的歌曲的創(chuàng)作者可以通過 AudioSparx 分享 Stable Audio 的利潤。

　　據(jù)稱，在培訓(xùn)之前，這些創(chuàng)作人被問及是否愿意提供他們的歌曲。這個決定可能是對 Stability 在 Stable Diffusion 的培訓(xùn)素材涉及版權(quán)辯論中所面臨的大規(guī)模反對的回應(yīng)。

　　根據(jù) Stability AI 的說法，用戶可以免費(fèi)將使用 Stable Audio 創(chuàng)建的音軌用于個人用途。商業(yè)用途需要付費(fèi)訂閱。該公司的目標(biāo)是創(chuàng)意專業(yè)人士，如電影制片人或游戲開發(fā)人員，他們需要快速獲得合適的背景音樂。

　　Stability AI 還計劃發(fā)布一個基于不同數(shù)據(jù)集訓(xùn)練的開源音樂模型。

　　Stable Audio 不同于 Stable Diffusion，因為它不是開源的，不像流行的圖像模型那樣。然而，F(xiàn)AQ 中表示，將很快發(fā)布一個基于其他數(shù)據(jù)集訓(xùn)練的開源模型。

　　Stable Audio 的基礎(chǔ)是文本到音樂的模型 Dance Diffusion，該模型是在2022年由 Harmonai 發(fā)布的，并得到了 Stability 的支持。然而，Stable Audio 是 Stability AI 音頻部門從零開始開發(fā)的模型，該部門成立于2022年4月。

　　對音樂使用擴(kuò)散模型并不是一個新的想法。然而，Stable Audio 的強(qiáng)大之處在于它能夠以不同長度生成作品，訓(xùn)練過程中考慮到了這一點。

　　Stability AI 是這樣解釋底層技術(shù)的:Stable Audio 是一個潛在擴(kuò)散模型，由幾個部分組成:變分自動編碼器 (VAE)、文本編碼器和基于 U-net 的擴(kuò)散模型。 VAE 將立體聲音頻壓縮為有損、抗噪聲和可逆的潛在編碼，從而實現(xiàn)更快的生成和訓(xùn)練。 新訓(xùn)練的 CLAP 模型的凍結(jié)文本編碼器用于文本提示。 定時嵌入在訓(xùn)練期間計算并用于控制輸出音頻長度。 Stable Audio 的擴(kuò)散模型是基于 Moûsai 模型的9.07億參數(shù) U 網(wǎng)。

　　您可以通過最近推出的網(wǎng)絡(luò)界面專門使用穩(wěn)定音頻。每月有20首時長不超過45秒的歌曲免費(fèi)供個人使用。每月只需11.99美元，即可獲得500首歌曲，播放時間長達(dá)90秒，并獲得商業(yè)許可。

　　沒有內(nèi)容過濾器很容易導(dǎo)致抄襲

　　該工具還可以用來偽造流行藝術(shù)家的歌曲。到目前為止，唱片公司已經(jīng)能夠成功地對抗此類人工智能創(chuàng)作，但法律狀況仍不清楚。

　　Stability AI 本身在接受 Techcrunch 采訪時堅稱，它希望負(fù)責(zé)任地使用該技術(shù)。AudioSparx 的數(shù)據(jù)庫不包含流行歌曲，但許多歌曲都以知名藝術(shù)家的風(fēng)格進(jìn)行標(biāo)記。與谷歌的 MusicLM不同，著名藝術(shù)家的名字不會被屏蔽，至少目前還沒有。

　　Stable Audio 能否為 Stability AI 的商業(yè)模式帶來回報還有待觀察，該商業(yè)模式迄今為止一直處于虧損狀態(tài)。無論如何，人工智能作品的令人印象深刻的質(zhì)量讓你刮目相看。