最近在嘗試使用AI生成影片，但生成出來的影片都沒有音效，網上的素材都有版權，於是想到或許也有AI生成音效的東西。結果一搜還真的有
找到了兩個AI生成音效本地可安裝的開源程式。audioCraft跟stable-audio
實測下來stable-audio生成很快，可生成最長47秒的音樂，但我測試了許多次，效果覺得不是那麼的理想，有時生成的很難聽，也許多樂器他生成不出來(例如：中國東方類的樂器)
於是我便著重在audioCraft這個上面，產生的音效與音樂我自己覺得是比較好，甚至拿來做Youtube Lo-Fi音樂也行~
安裝步驟我是參考這個Youtuber的影片
https://www.youtube.com/watch?v=zObOSul8n6I
audioCraft目前的版本可以生成1~120秒的音樂，有分好幾種模型
有stereo表示立體聲的模型，若想用上傳參考音頻的話要選melody的模型
每個模型都有大中小的型號，自己的顯卡是NV RTX3060 12G 也能跑Large的模型
下面是我的測試結果(選擇的Decoder是default，MultiBand_Diffusion很容易卡住不知道為何)
10秒的音樂花費 30.81秒
15秒的音樂花費 47.95秒
20秒的音樂花費 65.06秒
25秒的音樂花費 82.16秒
30秒的音樂花費 110.25秒
60秒的音樂花費 188.87秒
120秒的音樂花費 406.57秒
另外要說的一點，我第一次安裝時，不知道為何一開始推理有用GPU跑，跑到100%就改成用CPU跑，生成一個2分鐘的音樂要花一小時。
後來嘗試重新安裝，就莫名的好了，生成都能用GPU跑了。
audioCraft內建有分MusicGen跟magnetGen，我是覺得MusicGen比較簡單好用，另一個研究還不深。
下面給一些我生成的樣本(MusicGen)
輕快節奏.適合陽光海灘旅行的音樂。 prompt:Upbeat rhythm. Music suitable for traveling to sunny beaches (perfect for a commercial)
中國風的35秒
中國風的60秒
中國風的60秒
LoFi的10秒
LoFi的30秒
LoFi的60秒
下面的是使用magnetGen
中國風的30秒(它一次會產生兩種)
結論
audioCraft產生出來的音樂，基本上都還可以用，有些只有片段能用，得在自己剪一下
其他幾個比較明顯的缺點，像是沒有自動保存音樂及prompt的功能(好幾次產生的都不小心點到就沒了)
還有像是沒法續寫，有些覺得不錯的礙於時長就突然斷掉，但也沒辦法繼續接上
提示詞網上也沒有太多範例，只能蝦測試~ 之後有其他心得再來分享
文章轉載或引用，請先告知並保留原文出處與連結！！(單純分享或非營利的只需保留原文出處，不用告知)
原文連結:
https://blog.aidec.tw/post/audiocraft
若有業務合作需求，可寫信至： opweb666@gmail.com
創業、網站經營相關內容未來將發布在 小易創業筆記