最近都在測試本地的文生影片,像是LTX VIDEO、AnimateDiff、Hunyuan(混元),測試下來AnimateDiff只能跑8~16frame rate,產生大約1~2秒的影片,生成的效果我個人是覺得很一般(主要是幀率太低),不過能做頭尾幀變換,適合做很短的形象動畫之類的


顯卡環境:NV RTX3060 12G,電腦記憶體:64GB


騰訊出的混元(Hunyuan),嗯.... 低顯存跑不動啊,但也可能設定有誤? 反正我測試了好多次,K採樣都跑完了,但到最後的VAE Decode(Tiled)環節就爆顯存了

工作流的預設值是tile_size:256、overlap:64 跑不過,改成title_size:128 overlap:64也是過去不去,之後再嘗試看看tile_size:64、overlap:32 好了

但混元跑640*768,20 step ,要20多分鐘.... 有點久

補充:後來改用title_size:128 overlap:32 這個設定能跑過去,尺寸改成848*480,一樣要跑20分鐘,加上waveSpeed加速能變15分鐘


至於LTX VIDEO 一樣640*768,4秒的影片(97 Lengrh),只需1分26秒左右,算是能接受。目前比較偏愛用640*768這個尺寸,因為可以用來發YT short、IG Reels

不過本地模型跟線上的理解能力還是有差,需要比較多次抽卡。


像是最近一直想仿近期很紅的貓咪煮菜,但我的貓始終不肯乖乖切面前的肉....


今天生成出來的影片就比較好一些

 

另外現在的最新版本是 0.9.1 ,但我還是推薦用0.9比較好,0.9.1有時會產生些奇怪文字,浮水印之類的,兩個版本的影片效果也看不出差異來。

不過LTX Video的強項似乎是在寬的(勉強能達到720P的邊),長的生成可能會比較差一點


最近有個插件WaveSpeed還能提升LTX Video的生成速度,這個插件目前不支援LTX + STG增強,只支援原生LTX Video,有反映給作者,他說他想辦法,值得關注。

這個插件也能替Flux出圖加速,對比大概能省一半的時間



實測心得

LTXVImgToVideo

一般可以選,這幾項 97,105,113,121,129,137,145。

推薦選97,121,145 (搭配24 frame_rate輸出)


LTXVImgToVideo當中的image_noise_scale 跟 LTXVConditioning 會影響是否生成的影片會動(測試以同樣種子、同張圖、同長度(97)...都相同情況)

---不動作---

image_noise_scale frame_rate備註
0.1430


---動作---

image_noise_scale frame_rate備註
025會動,很崩

0.01

25會動,很崩
0.0225會動(3~4秒:很崩)
0.0325會動((3~4秒:很崩)
0.0425會動(3~4秒:很崩)
0.0525會動(3~4:很崩)
0.0625會動(3:OK 4:很崩)
0.0725會動,還行
0.0825會動還行*
0.125會動還行*-
0.1225會動還行*
0.1325會動,突然過動
0.1425會動,突然過動
0.1530還行
0.1630過動
0.1730
0.1830
0.1930
0.2030





文章轉載或引用,請先告知並保留原文出處與連結!!(單純分享或非營利的只需保留原文出處,不用告知)

原文連結:
https://blog.aidec.tw/post/ltx-video-2
若有業務合作需求,可寫信至: opweb666@gmail.com
創業、網站經營相關內容未來將發布在 小易創業筆記