最近都在測試本地的文生影片,像是LTX VIDEO、AnimateDiff、Hunyuan(混元),測試下來AnimateDiff只能跑8~16frame rate,產生大約1~2秒的影片,生成的效果我個人是覺得很一般(主要是幀率太低),不過能做頭尾幀變換,適合做很短的形象動畫之類的
顯卡環境:NV RTX3060 12G,電腦記憶體:64GB
騰訊出的混元(Hunyuan),嗯.... 低顯存跑不動啊,但也可能設定有誤? 反正我測試了好多次,K採樣都跑完了,但到最後的VAE Decode(Tiled)環節就爆顯存了
工作流的預設值是tile_size:256、overlap:64 跑不過,改成title_size:128 overlap:64也是過去不去,之後再嘗試看看tile_size:64、overlap:32 好了
但混元跑640*768,20 step ,要20多分鐘.... 有點久
補充:後來改用title_size:128 overlap:32 這個設定能跑過去,尺寸改成848*480,一樣要跑20分鐘,加上waveSpeed加速能變15分鐘
至於LTX VIDEO 一樣640*768,4秒的影片(97 Lengrh),只需1分26秒左右,算是能接受。目前比較偏愛用640*768這個尺寸,因為可以用來發YT short、IG Reels
不過本地模型跟線上的理解能力還是有差,需要比較多次抽卡。
像是最近一直想仿近期很紅的貓咪煮菜,但我的貓始終不肯乖乖切面前的肉....
今天生成出來的影片就比較好一些
另外現在的最新版本是 0.9.1 ,但我還是推薦用0.9比較好,0.9.1有時會產生些奇怪文字,浮水印之類的,兩個版本的影片效果也看不出差異來。
不過LTX Video的強項似乎是在寬的(勉強能達到720P的邊),長的生成可能會比較差一點
最近有個插件WaveSpeed還能提升LTX Video的生成速度,這個插件目前不支援LTX + STG增強,只支援原生LTX Video,有反映給作者,他說他想辦法,值得關注。
這個插件也能替Flux出圖加速,對比大概能省一半的時間
實測心得
LTXVImgToVideo
一般可以選,這幾項 97,105,113,121,129,137,145。
推薦選97,121,145 (搭配24 frame_rate輸出)
LTXVImgToVideo當中的image_noise_scale 跟 LTXVConditioning 會影響是否生成的影片會動(測試以同樣種子、同張圖、同長度(97)...都相同情況)
---不動作---
image_noise_scale | frame_rate | 備註 |
0.14 | 30 |
---動作---
image_noise_scale | frame_rate | 備註 |
0 | 25 | 會動,很崩 |
0.01 | 25 | 會動,很崩 |
0.02 | 25 | 會動(3~4秒:很崩) |
0.03 | 25 | 會動((3~4秒:很崩) |
0.04 | 25 | 會動(3~4秒:很崩) |
0.05 | 25 | 會動(3~4秒:很崩) |
0.06 | 25 | 會動(3:OK 4秒:很崩) |
0.07 | 25 | 會動,還行 |
0.08 | 25 | 會動,還行* |
0.1 | 25 | 會動,還行*- |
0.12 | 25 | 會動,還行* |
0.13 | 25 | 會動,突然過動 |
0.14 | 25 | 會動,突然過動 |
0.15 | 30 | 還行 |
0.16 | 30 | 過動 |
0.17 | 30 | |
0.18 | 30 | |
0.19 | 30 | |
0.20 | 30 |
文章轉載或引用,請先告知並保留原文出處與連結!!(單純分享或非營利的只需保留原文出處,不用告知)
原文連結:
https://blog.aidec.tw/post/ltx-video-2
若有業務合作需求,可寫信至: opweb666@gmail.com
創業、網站經營相關內容未來將發布在 小易創業筆記